[論文レビュー] Rethinking Visual Dependency in Long-Context Reasoning for Large Vision-Language Models

Yucheng Zhou, Zhi Rao+2 more|arXiv (Cornell University)|Oct 25, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、長文脈推論において大規模なビジョン・ランゲージ モデル（LVLM）が視覚的依存性を低下させることの原因として、テキスト情報への過剰な依存があることを特定している。本研究では、注意重みの集約に基づき、重要度の低いテキストトークンを削除する訓練不要のコンテキストプリーニング手法を提案しており、新しく構築された長文脈データセット上で複数のLVLMに対して視覚的注意の向上と性能の向上を著しく実現している。最適なプリーニング率は文脈長に応じて増加する。

ABSTRACT

Large Vision-Language Models (LVLMs) excel in cross-model tasks but experience performance declines in long-context reasoning due to overreliance on textual information and reduced visual dependency. In this study, we empirically analyze LVLMs in long-context reasoning, revealing that increased context length leads to a higher dependence on language at the expense of visual dependency. To address this issue, we propose a novel training-free context pruning method that selectively removes less critical textual information. Our approach enhances visual dependency and reduces textual noise, thereby improving LVLM performance in long-context reasoning. We validate our method by constructing a long-context dataset, demonstrating its effectiveness across various LVLMs. Moreover, further analysis confirms the robustness of different token pruning strategies and preliminary explores scaling laws between pruning rates and context length.

研究の動機と目的

• 長文脈推論タスクにおける大規模ビジョン・ランゲージ モデル（LVLM）の性能低下の根本原因を調査すること。
• 文脈長が延長するにつれて視覚的依存性がどのように低下するか、特にテキスト事前知識への過剰な依存が原因であるかを分析すること。
• 重要なテキストトークンを効果的にプリーニングすることで、視覚的依存性を強化する訓練不要の手法を開発すること。
• 新しく構築した長文脈データセットを用いて、複数のLVLMに対してこの手法の有効性を検証すること。
• 最適なプリーニング率と文脈長との間のスケーリング則を明らかにすること。

提案手法

• 変換器層内の複数の注意ヘッドにおける注意重みの集約を用いて、重要度の低いテキストトークンを同定する。
• 累積注意スコアが低いトークンを削除するプリーニング戦略を適用し、テキストノイズを低減しながら視覚的情報を保持する。
• 訓練不要のアプローチであり、モデルの微調整を伴わず、推論の前に入力コンテキストを変更することで動作する。
• 理論的分析により、プリーニングが視覚入力統合を促進するより集中的かつ安定した注意分布を生み出すことを示している。
• 異なるプリーニング層およびレートでの評価を実施し、残存トークンの品詞分布を用いて性能を分析している。
• SVITベンチマークに基づいて長文脈データセットを構築し、延長された文脈下での推論性能の体系的評価を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 なぜ長文脈推論タスクにおいてLVLMの視覚的依存性は文脈長が延長するにつれて低下するのか？
• RQ2 画像内のターゲットオブジェクトの占める割合が、長文脈設定下での視覚的依存性の安定性にどのように影響するか？
• RQ3 長文脈推論において、マルチモodal相互作用は、初期層から深層にかけてどのようにシフトするか？
• RQ4 訓練不要のコンテキストプリーニング手法は、微調整なしにLVLMの視覚的依存性と推論性能を向上させることができるか？
• RQ5 長文脈推論において、最適なプリーニング率と文脈長との関係は何か？

主な発見

• LLaVAにおいて、文脈長が延長すると長文脈推論の性能が最大17%低下し、視覚的依存性の著しい低下を示している。
• 提案手法は複数のLVLMで性能向上を実現しており、特に1.5k～2.5kトークンの長文脈で高い向上率が得られており、0.3のプリーニング率で顕著な効果を示している。
• 注意重みの集約に基づくプリーニングは、ランダムプリーニングよりも重要な情報をより効果的に保持しており、残存トークンの品詞分布が安定していることからも裏付けられている。
• 本手法はより集中的かつ安定した注意分布を生み出し、視覚的入力統合とモデルのロバスト性を向上させている。
• 文脈長と最適なプリーニング率の間に明確な上行トレンドが観察され、長文脈ではより積極的なプリーニングが恩恵をもたらすことが示唆されている。
• 事例研究により、本手法は全文脈長で高い正確性を維持している一方で、ベースラインは0.5kトークンを超えると失敗することが確認された。