[論文レビュー] CoCoT: Contrastive Chain-of-Thought Prompting for Large Multimodal Models with Multiple Image Inputs

Daoan Zhang, Junming Yang+5 more|arXiv (Cornell University)|Jan 5, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

CoCoTは、複数の画像の類似点と相違点を明示的に比較するようにモデルを誘導することで、大規模なマルチモodalモデルの複数画像理解を向上させる画期的な対照的チェーン・オブ・コグニション・プロンプティング手法である。この手法は、GPT-4V や MMICL といったオープンソースおよびクローズドソースのモデルを含め、複数画像推論タスクにおいて顕著な性能向上を達成し、最先端の結果をもたらした。

ABSTRACT

When exploring the development of Artificial General Intelligence (AGI), a critical task for these models involves interpreting and processing information from multiple image inputs. However, Large Multimodal Models (LMMs) encounter two issues in such scenarios: (1) a lack of fine-grained perception, and (2) a tendency to blend information across multiple images. We first extensively investigate the capability of LMMs to perceive fine-grained visual details when dealing with multiple input images. The research focuses on two aspects: first, image-to-image matching (to evaluate whether LMMs can effectively reason and pair relevant images), and second, multi-image-to-text matching (to assess whether LMMs can accurately capture and summarize detailed image information). We conduct evaluations on a range of both open-source and closed-source large models, including GPT-4V, Gemini, OpenFlamingo, and MMICL. To enhance model performance, we further develop a Contrastive Chain-of-Thought (CoCoT) prompting approach based on multi-input multimodal models. This method requires LMMs to compare the similarities and differences among multiple image inputs, and then guide the models to answer detailed questions about multi-image inputs based on the identified similarities and differences. Our experimental results showcase CoCoT's proficiency in enhancing the multi-image comprehension capabilities of large multimodal models.

研究の動機と目的

• 複数の画像にわたる微細な認識および情報の融合に関する大規模マルチモーダルモデル（LMM）の限界を調査すること。
• 複数の入力を統合的に推論するのを支援する効果的なプロンプティング戦略の欠如を是正すること。
• 複数の画像から詳細な視覚的関係を抽出・要約する能力を向上させるプロンプティング手法を開発すること。
• 提案手法の有効性を、多様なオープンソースおよびクローズドソースのLMMに対して評価すること。

提案手法

• CoCoTは二段階のプロンプティングプロセスを導入する：まず、モデルが複数の入力画像間の類似点と相違点を特定する。
• 対照的推論を用いて重要な視覚的相違点を強調することで、情報の混合を低減し、関連する詳細に注目する能力を向上させる。
• チェーン・オブ・コグニション推論と視覚的対比を統合し、画像ペアの段階的分析をガイドする。
• ファインチューニングを伴わず、既存のLMMに直接適用可能なプロンプティングフレームワークを採用する。
• GPT-4V、Gemini、OpenFlamingo、MMICL など、多様なLMMアーキテクチャと互換性を持つモジュラー設計である。
• 類似点と相違点のプロンプティング要因の寄与度を分離するためにアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 複数の入力が存在する状況で、既存の大規模マルチモーダルモデルは微細な視覚的詳細に基づいて画像を正確にマッチングできるか？
• RQ2 複数の画像間で対照的推論を適用することで、標準的なチェーン・オブ・コグニション・プロンプティングに比べ、複数画像理解がどの程度向上するか？
• RQ3 CoCoTは、マルチモーダル推論における情報の混合をどの程度低減し、関連する視覚的相違点に注目する能力を向上させるか？
• RQ4 CoCoTによる性能向上は、多様なオープンソースおよびクローズドソースのLMMに一般化されるか？
• RQ5 CoCoTのプロンプティングフレームワークにおいて、類似点の特定と相違点の特定の相対的寄与度はどの程度か？

主な発見

• CoCoTは複数画像対テキストマッチングの正確性を顕著に向上させ、MMICLでは77.00%、Geminiでは77.80%を達成し、ベースライン手法を上回った。
• GPT-4Vでは、グループスコアが37.75%から44.50%に向上し、画像とテキスト理解の整合性が強化された。
• アブレーションスタディの結果、類似点と相違点の両方のプロンプトを組み合わせた場合が最良のパフォーマンスを示し、MMICLでは両方のコンポonentを用いることで77.00%に到達した。
• GeminiではCoCoTの適用によりスコアが25.00%から27.75%に向上したが、他のモデルに比べて依然として低い水準にとどまり、詳細な視覚的情報の要約能力に限界があることが示唆された。
• OpenFlamingoとMMICLはCoCoTにより最も顕著な向上を示し、オープンソースモデルにおいても高い適合性と有効性を示した。
• 人間のパフォーマンス（85.50%のグループスコア）は依然として顕著に高く、現在のモデルと人間レベルの認識能力との間には大きなギャップが存在することが明らかになった。