[논문 리뷰] Compositional Chain-of-Thought Prompting for Large Multimodal Models

Chancharik Mitra, Brandon Huang외 2명|arXiv (Cornell University)|2023. 11. 27.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 구성적 사고(chain-of-thought)를 통한 제로샷 프롬프팅 방법인 Compositional Chain-of-Thought (CCoT)을 제안한다. 이 방법은 이미지와 작업 프롬프트에서 시나리오 그래프를 생성함으로써 대규모 다중모odal 모델(LMMs)의 구성적 시각적 추론 능력을 향상시킨다. 미세조정이나 지도된 시나리오 그래프 애너테이션 없이도 CCoT는 Winoground 및 WHOOPS!와 같은 구성적 벤치마크와 MMBench 및 SEEDBench와 같은 일반적인 다중모달 벤치마크에서 성능을 향상시킨다.

ABSTRACT

The combination of strong visual backbones and Large Language Model (LLM) reasoning has led to Large Multimodal Models (LMMs) becoming the current standard for a wide range of vision and language (VL) tasks. However, recent research has shown that even the most advanced LMMs still struggle to capture aspects of compositional visual reasoning, such as attributes and relationships between objects. One solution is to utilize scene graphs (SGs)--a formalization of objects and their relations and attributes that has been extensively used as a bridge between the visual and textual domains. Yet, scene graph data requires scene graph annotations, which are expensive to collect and thus not easily scalable. Moreover, finetuning an LMM based on SG data can lead to catastrophic forgetting of the pretraining objective. To overcome this, inspired by chain-of-thought methods, we propose Compositional Chain-of-Thought (CCoT), a novel zero-shot Chain-of-Thought prompting method that utilizes SG representations in order to extract compositional knowledge from an LMM. Specifically, we first generate an SG using the LMM, and then use that SG in the prompt to produce a response. Through extensive experiments, we find that the proposed CCoT approach not only improves LMM performance on several vision and language VL compositional benchmarks but also improves the performance of several popular LMMs on general multimodal benchmarks, without the need for fine-tuning or annotated ground-truth SGs. Code: https://github.com/chancharikmitra/CCoT

연구 동기 및 목표

• 대규모 다중모달 모델(LMMs)에서 구성적 시각적 추론 능력을 향상시키며, 특히 객체의 속성과 관계를 이해하는 데 초점을 맞춘다.
• 이미지를 '객체의 집합'으로만 다루는 LMM의 한계를 해결한다.
• 애너테이션된 시나리오 그래프 데이터셋이나 모델 미세조정이 필요 없는 프롬프팅 방법을 개발한다.
• 토큰 효율적이고 일반화 가능한 접근 방식을 통해 구성적 및 일반적인 다중모달 벤치마크에서 LMM 성능을 향상시킨다.
• 모델 아키텍처에 종속되지 않고 확장 가능하며 제로샷으로 작동하는 프롬프팅을 가능하게 하여 사전에 훈련된 LMM에서 더 깊은 구성적 지식을 추출한다.

제안 방법

• 먼저, LMM은 입력 이미지와 작업 프롬프트(예: 질문)로부터 내부 추론을 통해 객체, 속성, 관계를 추출하여 시나리오 그래프를 생성한다.
• 다음으로, 이미지, 생성된 시나리오 그래프, 원본 작업 프롬프트를 함께 사용하여 LMM을 다시 프롬프팅하여 최종 답변을 도출한다.
• 이 방법은 두 단계의 프롬프팅 파이프라인을 사용한다: 시나리오 그래프 생성 → 답변 생성. 두 단계 모두 하나의 LLM 추론 컨텍스트 내에서 수행된다.
• 시나리오 그래프는 관계와 속성을 명시적으로 드러내어 LLM이 구성적 추론을 하도록 이끄는 중간 구조적 표현이다.
• 모델 가중치를 업데이트하지 않기 때문에 미세조정을 피하고 치명적인 기억 상실도 방지하며, 오직 프롬프팅 기반 설계에 의존한다.
• 시나리오 그래프의 압축적이고 표현력 있는 특성 덕분에 이 방법은 다양한 LMM 아키텍처와 작업(예: VQA, 캡션 생성, 추론)에 일반화 가능하다.

실험 결과

연구 질문

• RQ1 시나리오 그래프를 사용하는 제로샷 프롬프팅 방법이 미세조정 없이 LMM의 구성적 추론 능력을 향상시킬 수 있는가?
• RQ2 LLM를 통한 시나리오 그래프 생성이 구성적 시각적 추론 벤치마크에서 LMM 성능 향상에 얼마나 효과적인가?
• RQ3 생성된 시나리오 그래프의 사용이 MMBench 및 SEEDBench와 같은 일반적인 다중모달 벤치마크에서 성능 향상에 기여하는가?
• RQ4 이 방법은 태스크에 특화된 적응 없이 다양한 LMM 아키텍처에 적용 가능한가?
• RQ5 CCoT 접근 방식이 관계 및 속성 수준의 추론을 더 명확히 하여 LMM의 '객체의 집합' 편향을 완화하는가?

주요 결과

• CCoT는 LLaVA-1.5와 InstructBLIP의 Winoground 구성적 추론 벤치마크 성능을 크게 향상시켜 객체 간 관계와 속성에 대한 이해가 향상됨을 입증한다.
• CCoT는 WHOOPS! VQA 벤치마크에서 최신 기술 수준의 제로샷 성능을 달성하여 분포 외의, 공리적 도전 과제가 있는 이미지에 대한 일반화 능력이 뛰어나다는 것을 보여준다.
• CCoT는 MMBench 및 SEEDBench와 같은 일반적인 다중모달 벤치마크 성능 향상에도 기여하여 구성적 추론 작업 외의 응용 분야에서도 넓은 적용 가능성을 보인다.
• 이 방법은 어떤 종류의 미세조정, 모델 업데이트, 또는 애너테이션된 시나리오 그래프 데이터셋에 의존하지 않아 스케일이 가능하고 효율적이다.
• 정성적 분석 결과, CCoT는 관계적 이해가 필요한 경우에 더 정확하고 추론 중심적인 응답을 생성함을 확인할 수 있었다.
• 이 방법은 다양한 LMM 아키텍처에서 뛰어난 성능 유지를 보이며 다양한 시각적 및 언어적 작업에 걸쳐 일반화 능력을 입증하였다.