[論文レビュー] Compositional Chain-of-Thought Prompting for Large Multimodal Models

Chancharik Mitra, Brandon Huang+2 more|arXiv (Cornell University)|Nov 27, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、画像とタスクプロンプトからシーングラフを生成することで、コンpositionalな視覚的推論を向上させるゼロショットプロンプティング手法であるCompositional Chain-of-Thought (CCoT)を提案する。微調整や事前教師付きシーングラフアノテーションを一切不要とし、Winoground や WHOOPS! といったコンポジショナルベンチマーク、およびMMBench や SEEDBench といった一般的なマルチモodalベンチマークでも性能を向上させる。

ABSTRACT

The combination of strong visual backbones and Large Language Model (LLM) reasoning has led to Large Multimodal Models (LMMs) becoming the current standard for a wide range of vision and language (VL) tasks. However, recent research has shown that even the most advanced LMMs still struggle to capture aspects of compositional visual reasoning, such as attributes and relationships between objects. One solution is to utilize scene graphs (SGs)--a formalization of objects and their relations and attributes that has been extensively used as a bridge between the visual and textual domains. Yet, scene graph data requires scene graph annotations, which are expensive to collect and thus not easily scalable. Moreover, finetuning an LMM based on SG data can lead to catastrophic forgetting of the pretraining objective. To overcome this, inspired by chain-of-thought methods, we propose Compositional Chain-of-Thought (CCoT), a novel zero-shot Chain-of-Thought prompting method that utilizes SG representations in order to extract compositional knowledge from an LMM. Specifically, we first generate an SG using the LMM, and then use that SG in the prompt to produce a response. Through extensive experiments, we find that the proposed CCoT approach not only improves LMM performance on several vision and language VL compositional benchmarks but also improves the performance of several popular LMMs on general multimodal benchmarks, without the need for fine-tuning or annotated ground-truth SGs. Code: https://github.com/chancharikmitra/CCoT

研究の動機と目的

• 大規模マルチモーダルモデル（LMMs）におけるコンポジショナルな視覚的推論を向上させること、特にオブジェクトの属性や関係性の理解を強化すること。
• LMMsが画像を「オブジェクトの袋（bags of objects）」として扱うのではなく、構造的なシーンとして扱うという限界を是正すること。
• アノテーション済みのシーングラフデータセットやモデルの微調整を必要とせず、シーングラフを活用するプロンプティング手法を開発すること。
• トークン効率的で汎用性のあるアプローチにより、コンポジショナルおよび一般的なマルチモーダルベンチマークにおけるLMMの性能を向上させること。
• 微調整なしでスケーラブルかつアーキテクチャに依存しないプロンプティングを可能とし、事前学習済みLMMからより深いコンポジショナル知識を抽出すること。

提案手法

• まず、LMMが入力画像とタスクプロンプト（例：質問）をもとに、内部の推論を用いてオブジェクト、属性、関係性を抽出してシーングラフを生成する。
• 次に、画像、生成されたシーングラフ、および元のタスクプロンプトを再びプロンプトとして与え、最終的な回答を生成する。
• 2段階のプロンプティングパイプライン（シーングラフ生成 → 回答生成）を採用し、両者を1つのLLM推論コンテキスト内で実行する。
• シーングラフは中間的な構造的表現として機能し、関係性や属性を明示することで、LLMがコンポジショナル推論へと導かれる。
• モデル重みの更新を行わないため、微調整を避け、深刻な忘却を防ぐ。すべての処理はプロンプト工学に依存する。
• シーングラフのコンactかつ表現力に優れた性質のおかげで、異なるLMMアーキテクチャやタスク（VQA、キャプション生成、推論など）に普遍的に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 シーングラフを用いるゼロショットプロンプティング手法が、微調整を伴わずLMMにおけるコンポジショナル推論を向上させることができるか？
• RQ2 LLMによるシーングラフ生成が、LMMのコンポジショナル視覚的推論ベンチマークにおける性能向上にどの程度有効であるか？
• RQ3 生成されたシーングラフの使用が、MMBench や SEEDBench といった一般的なマルチモーダルベンチマークでも性能向上をもたらすか？
• RQ4 この手法が、タスク固有の調整なしに多様なLMMアーキテクチャに適用可能か？
• RQ5 CCoTアプローチが、LMMの「オブジェクトの袋」バイアスを是正し、関係性や属性レベルの推論をより明示的にするか？

主な発見

• CCoTは、LLaVA-1.5 および InstructBLIP における Winoground コンポジショナル推論ベンチマークで顕著な性能向上を示し、オブジェクト間の関係性や属性の理解が強化された。
• CCoTは、WHOOPS! VQAベンチマークにおいて最先端のゼロショット性能を達成し、分布外で困難な日常的推論を要する画像に対しても優れた一般化性能を示した。
• CCoTは、MMBench や SEEDBench といった一般的なマルチモーダルベンチマークでも性能向上を達成し、コンポジショナル推論にとどまらない広範な適用可能性を示した。
• この向上は、微調整、モデル更新、アノテーション済みシーングラフデータセットへの依存なしに達成されており、スケーラブルで効率的である。
• 定性的な分析では、関係性理解を要する状況において、CCoTがより正確で推論に富んだ回答を生成することが明らかになった。
• この手法は、さまざまなLMMアーキテクチャにわたり堅牢に機能し、多様な視覚的・言語的タスクで一貫した性能を維持しており、汎用性が確認された。