[논문 리뷰] Kosmos-2: Grounding Multimodal Large Language Models to the World

Zhiliang Peng, Wenhui Wang외 5명|arXiv (Cornell University)|2023. 06. 26.

Multimodal Machine Learning Applications인용 수 130

한 줄 요약

Kosmos-2는 위치 토큰을 통해 텍스트 범위를 이미지 영역에 연결하는 기반 멀티모달 LLM으로, GrIT 데이터셋으로 구축되었으며 grounding, referring, perception-language, 및 language 과제에서 평가되었습니다.

ABSTRACT

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Code and pretrained models are available at https://aka.ms/kosmos-2.

연구 동기 및 목표

• 다의성을 줄이고 시각적 답변을 가능하게 하기 위한 멀티모달 LLM의 기초 역량으로서 grounding의 중요성을 제시한다.
• 구절을 바운딩 박스와 연결하는 대규모 기반 이미지-텍스트 데이터셋 GrIT를 소개한다.
• Kosmos-1을 그라운딩과 지시로 확장하여 영역 기반 입력/출력 및 텍스트의 시각적 그라운딩을 구현한다.
• Kosmos-2의 그라운딩, 지시, 지각-언어, 및 언어 과제에서의 효용성을 입증한다.

제안 방법

• 지시 표현을 Markdown의 하이퍼링크로 표현하여 텍스트 범위를 위치 토큰의 시퀀스에 연결한다.
• GrIT를 캡션에서 명사구와 지시 표현을 추출하고 DETECTORS(예: GLIP)와 spaCy 기반 파싱을 사용하여 이미지 영역에 접지시켜 구성한다.
• 경계 박스 좌표를 위치 토큰으로 이산화하고 이를 단일 <grounding> 형식의 해당 텍스트 범위에 추가한다.
• Kosmos-2를 Kosmos-1에서 초기화된 Transformer 기반의 인과적 언어 모델로 훈련하되, 그라운딩 특화 데이터와 다음 토큰 목표를 사용한다.
• 지시 튜닝에서 비전-언어 데이터와 언어 전용 데이터에GrIT의 그라운딩 데이터를 결합하여 모델 출력이 그라운딩 프롬프트와 정렬되도록 한다.

실험 결과

연구 질문

• RQ1 Kosmos-2가 텍스트를 특정 이미지 영역에 그라운딩하고 응답의 일부로 바운딩 박스를 출력할 수 있는가?
• RQ2 이전 MLLMs에 비해 구절 그라운딩 및 지시 표현 과제에서 그라운딩이 성능에 어떤 영향을 미치는가?
• RQ3 Kosmos-2가 그라운딩이 가능한 다운스트림 작업(예: 그라운딩된 이미지 캡션 생성 및 그라운딩된 VQA)을 수행할 수 있는가?
• RQ4 그라운딩과 지시 능력이 표준 지각-언어 및 언어 과제와 어떻게 상호작용하는가?

주요 결과

• Kosmos-2는 구절 그라운딩 및 지시 표현 이해를 포함한 강력한 그라운딩 성능을 달성하고, 그라운딩 벤치마크에서 여러 기준선보다 우수하다.
• It demonstrates effective referring expression generation, with zero-shot and few-shot improvements on RefCOCOg.
• Grounded inputs enable new downstream tasks like grounded image captioning and grounded visual question answering without sacrificing core language and vision-language abilities.
• On perception-language tasks (image captioning and VQA), Kosmos-2 remains competitive with Kosmos-1, showing no large degradation from grounding integration.
• On standard language tasks, Kosmos-2 shows comparable performance to Kosmos-1 with some metrics improving (e.g., BoolQ, COPA) and others remaining stable.