[논문 리뷰] GLaMM: Pixel Grounding Large Multimodal Model

Hanoona Rasheed, Muhammad Maaz외 8명|arXiv (Cornell University)|2023. 11. 06.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

GLaMM는 텍스트와 시각적 프롬프트를 모두 활용하여 자연어 응답을 픽셀 수준의 세그멘테이션 마스크와 원활하게 통합하는 최초의 대규모 다중모态 모델이다. 이는 지능형이고 상호작용 가능한 대화를 가능하게 한다. 81000만 개의 영역과 750만 개의 고유한 개념을 포함하는 대규모 자동 애너테이션 데이터셋(GranD)을 통해 지능형 대화 생성, 참조 표현 세그멘테이션, 이미지 캡션 생성 분야에서 최고 성능을 달성한다.

ABSTRACT

Large Multimodal Models (LMMs) extend Large Language Models to the vision domain. Initial LMMs used holistic images and text prompts to generate ungrounded textual responses. Recently, region-level LMMs have been used to generate visually grounded responses. However, they are limited to only referring to a single object category at a time, require users to specify the regions, or cannot offer dense pixel-wise object grounding. In this work, we present Grounding LMM (GLaMM), the first model that can generate natural language responses seamlessly intertwined with corresponding object segmentation masks. GLaMM not only grounds objects appearing in the conversations but is flexible enough to accept both textual and optional visual prompts (region of interest) as input. This empowers users to interact with the model at various levels of granularity, both in textual and visual domains. Due to the lack of standard benchmarks for the novel setting of visually Grounded Conversation Generation (GCG), we introduce a comprehensive evaluation protocol with our curated grounded conversations. Our proposed GCG task requires densely grounded concepts in natural scenes at a large-scale. To this end, we propose a densely annotated Grounding-anything Dataset (GranD) using our proposed automated annotation pipeline that encompasses 7.5M unique concepts grounded in a total of 810M regions available with segmentation masks. Besides GCG, GLaMM also performs effectively on several downstream tasks, e.g., referring expression segmentation, image and region-level captioning and vision-language conversations.

연구 동기 및 목표

• 다중모달 대화에서 조밀하고 픽셀 수준의 지능화된 이해를 제공하는 모델의 부족을 해결하기 위해.
• 참조 표현 세그멘테이션, 캡션 생성, 시각적 질의 응답과 같은 분리된 시각-언어 작업들을 하나의 지능형 대화 생성 프레임워크로 통합하기 위해.
• 지능형 다중모달 이해를 위한 대규모 고품질 조밀한 애너테이션 데이터셋을 만드는 확장 가능한 자동화된 파이프라인 개발을 위해.
• 다중모달 AI에서 새로운 과제인 지능형 대화 생성을 위한 종합적인 평가 프로토콜 수립을 위해.
• 일관된 종단 간 모델에서 텍스트 및 시각적 프롬프트를 모두 지원함으로써 다중모달 상호작용의 유연성을 높이기 위해.

제안 방법

• GLaMM는 통합된 아키텍처를 사용하여 다중모달 추론을 위한 종단 간 학습을 통해 자연어 응답과 세그멘테이션 마스크를 번갈아가며 생성하도록 훈련된다.
• 모델은 텍스트 프롬프트와 선택적 시각적 프롬프트(예: 경계 상자)를 모두 수락하여 다중 해상도 상호작용을 가능하게 한다.
• 자동 애너테이션 파이프라인은 Segment Anything Model(SAM)과 LLM을 활용하여 81000만 개의 영역을 750만 개의 고유한 개념으로 레이블링함으로써 Grounding-anything Dataset(GranD)를 생성한다.
• 파이프라인은 검증 단계와 LLM을 통한 반복적 개선을 포함한 계층적 다단계 체계를 사용하여 애너테이션 품질을 향상시킨다.
• GranD f라는 고품질 피니팅 데이터셋은 기존 수동 애너테이션 데이터셋(예: Visual Genome, NoCap)을 GPT-4의 인라인 학습을 활용해 지능형 대화 형식으로 재구성하여 제작된다.
• GLaMM는 GranD에서 사전 훈련하고 GranD f에서 피니팅하여 지능형 대화 생성을 수행하며, 참조 표현 세그멘테이션 및 이미지 캡션 생성과 같은 후행 작업 평가를 수행한다.

Figure 1 : Grounded Conversation Generation with GLaMM . Our multimodal conversational model can provide natural language responses grounded at the pixel-level in the input image. Different levels of granularity are depicted in the output groundings, e.g., things ( building , tree ), stuff ( grass ,

실험 결과

연구 질문

• RQ1 단일 다중모달 모델이 전체 이미지 이해에 의존하지 않고 픽셀 수준의 세그멘테이션 마스크와 함께 지능형 대화 응답을 생성할 수 있는가?
• RQ2 확장 가능한 자동화된 파이프라인은 어떻게 지능형 다중모달 작업을 위한 대규모 고품질 조밀한 애너테이션 데이터셋을 생성할 수 있는가?
• RQ3 통합된 모델은 참조 표현 세그멘테이션 및 이미지 캡션 생성과 같은 여러 지능형 시각-언어 과제에서 어떤 성능을 보이는가?
• RQ4 시각적 프롬프트(예: 경계 상자)의 포함이 모델이 맥락적으로 정확하고 세밀한 응답을 생성하는 능력을 어떻게 향상시키는가?
• RQ5 GranD와 같은 대규모 다양성 있는 데이터셋에서 사전 훈련된 모델이 여러 지능형 시각-언어 과제에 대해 제로샷 및 패턴샷 설정에서 효과적으로 일반화할 수 있는가?

주요 결과

• GLaMM는 참조 표현 세그멘테이션에서 사전 훈련 후 refCOCOg 테스트 세트에서 16.2 METEOR와 106.0 CIDEr로 최고 성능을 기록하며, 이는 GRiT 및 GPT4RoI와 같은 이전 모델을 능가한다.
• 영역 수준의 캡션 생성에서 GLaMM는 NoCap 데이터셋에서 18.8 SPICE와 95.3 CIDEr를 기록하여 강력한 제로샷 및 피니팅 성능을 보였다.
• 제로샷 이미지 캡션 생성에서 GLaMM는 Flickr30k에서 106.8 CIDEr와 15.8 SPICE를 기록하여 BLIP-2 및 InstructBLIP와 같은 최근 모델들을 능가했다.
• 모델은 참조 표현 세그멘테이션, 이미지 캡션 생성, 지능형 대화 등 다양한 과제에서 강력한 일반화 능력을 보였으며, 정성적인 결과는 물체, 부분, 속성, 관계의 정확한 지능화를 보여주었다.
• GranD 데이터셋은 81000만 개의 영역과 세그멘테이션 마스크, 750만 개의 고유한 개념을 포함하여 현재까지 알려진 가장 큰 조밀하고 다중 해상도의 지능형 시각-언어 데이터셋이다.
• GPT-4를 활용해 기존 데이터셋에서 유도된 정제된 GranD f 데이터셋은 지능형 대화 생성을 위한 고품질 피니팅을 가능하게 하여 이 새로운 과제에서 모델 성능을 크게 향상시켰다.

Figure 2 : GLaMM’s architecture. The figure illustrates our model architecture, showcasing its ability to offer scene-level understanding, region-level interpretation, and pixel-level grounding. Top: The core components of GLaMM, including the global image encoder, region encoder, LLM, grounding ima