[論文レビュー] Imagination Helps Visual Reasoning, But Not Yet in Latent Space

You Li, Chi Chen+5 more|arXiv (Cornell University)|Feb 26, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

論文は潜在視覚推論における潜在トークンが結果にほとんど影響を与えず、CapImagineというテキスト空間想像法を提案し、視覚ベンチマークで潜在空間アプローチを上回ることを示している。

ABSTRACT

Latent visual reasoning aims to mimic human's imagination process by meditating through hidden states of Multimodal Large Language Models. While recognized as a promising paradigm for visual reasoning, the underlying mechanisms driving its effectiveness remain unclear. Motivated to demystify the true source of its efficacy, we investigate the validity of latent reasoning using Causal Mediation Analysis. We model the process as a causal chain: the input as the treatment, the latent tokens as the mediator, and the final answer as the outcome. Our findings uncover two critical disconnections: (a) Input-Latent Disconnect: dramatic perturbations on the input result in negligible changes to the latent tokens, suggesting that latent tokens do not effectively attend to the input sequence. (b) Latent-Answer Disconnect: perturbations on the latent tokens yield minimal impact on the final answer, indicating the limited causal effect latent tokens imposing on the outcome. Furthermore, extensive probing analysis reveals that latent tokens encode limited visual information and exhibit high similarity. Consequently, we challenge the necessity of latent reasoning and propose a straightforward alternative named CapImagine, which teaches the model to explicitly imagine using text. Experiments on vision-centric benchmarks show that CapImagine significantly outperforms complex latent-space baselines, highlighting the superior potential of visual reasoning through explicit imagination.

研究の動機と目的

• 潜在空間視覚推論がなぜ機能するのか、あるいは機能しないのかの理解を動機づける。
• X→Z→Y 推論連鎖における潜在トークンの因果影響を診断する。
• テキスト空間の想像であるCapImagineを提案・評価する。
• CapImagineを多様な視覚ベンチマークでLatent Visual Reasoningのベースラインと比較する。

提案手法

• 潜在視覚推論におけるX→Z→Yをモデル化する因果媒介分析を適用する。
• 入力Xと潜在トークンZを撥乱してX→ZとZ→Yの因果効果を評価する。
• エンコードされた視覚意味論と回答との結びつきを評価するために潜在トークンを探査する。
• 中間の視覚操作をテキスト記述として書き換えることでCapImagineを開発（テキスト空間の想像）。
• CapImagineを高解像度の知覚と推論ベンチマークで訓練・評価する。
• データの書き換えとフィルタリングの効果を分離するアブレーションを実施する。

Figure 1 : Comparison between visual reasoning with tools and through imagination. (a) Reasoing with tools perceive visual content through function calling such as zoom-in or drawing. (b) Latent-space imagination exploits the hidden states of MLLMs to conduct visual reasoning. (c) We show that imagi

実験結果

リサーチクエスチョン

• RQ1 潜在トークンは潜在視覚推論モデルで入力情報（X）を意味通り伝達するか（X→Z）？
• RQ2 潜在トークン（Z）への撥乱は最終回答（Y）に因果的な影響を及ぼすか？
• RQ3 テキスト空間の想像は潜在空間の想像より強い因果効果と推論性能を提供できるか？
• RQ4 視覚操作をテキスト記述へ書き換えるCapImagineは潜在トークンベースのアプローチより効果的か？

主な発見

• インスタンスやタスクをまたぐ潜在トークンは高い類似性を示し、入力への感度が低いことを示唆する。
• 潜在トークンへの介入は最終回答の変化を最小限に留め、Z→Yの因果性が弱いことを示唆する。
• 探査は潜在トークンがタスク関連の視覚意味論を限られて encode していることを示す。
• テキスト空間の想像（CapImagine）は潜在空間法より強い因果影響力と推論性能を示す。
• CapImagineは複数の視覚中心ベンチマークでMonetのような潜在空間ベースのベースラインを上回る。
• CapImagineは長いテキスト想像シーケンスにもかかわらず競争力のある効率性を維持する。

Figure 2 : Our systematic latent analysis framework for investigating the internal mechanisms and behavioral patterns of latent tokens. (a) Model Inference illustrates the latent inference process. (b) and (c) respectively illustrate two causal analysis approaches. In diagram Intervention on $Z$ , $