[論文レビュー] Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models

Haruto Yoshida, Keito Kudo+5 more|arXiv (Cornell University)|Mar 3, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

本論文は LVLM が図表要素をどのように内部表現するかを検討しており、ノードとグローバル構造は視覚パッチに線形にエンコードされる一方、エッジはテキスト token でのみ線形的にデコード可能となり、視覚エンコード情報が予測に影響を与える因果的証拠が示される。

ABSTRACT

Large vision-language models (LVLMs) demonstrate strong performance on diagram understanding benchmarks, yet they still struggle with understanding relationships between elements, particularly those represented by nodes and directed edges (e.g., arrows and lines). To investigate the underlying causes of this limitation, we probe the internal representation of LVLMs using a carefully constructed synthetic diagram dataset based on directed graphs. Our probing experiments reveal that edge information is not linearly separable in the vision encoder and becomes linearly encoded only in the text tokens in the language model. In contrast, node information and global structural features are already linearly encoded in individual hidden states of the vision encoder. These findings suggest that the stage at which linearly separable representations are formed varies depending on the type of visual information. In particular, the delayed emergence of edge representations may help explain why LVLMs struggle with relational understanding, such as interpreting edge directions, which require more abstract, compositionally integrated processes.

研究の動機と目的

• 基本的な図表要素（ノード、エッジ）とグローバル構造を、 LVLM が内部でどのように表現しているかを調査する。
• ノード、エッジ、グローバル情報がどこ（モジュール／レイヤ）で、いつ（どの段階で）線形デコード可能になるかを明らかにする。
• 図表理解タスクにおいて、線形デコード可能な情報がモデルの予測結果に因果的影響を与えるかを評価する。
• 制御可能な合成図表データセットを用いて、表現形成の細かな探査を可能にする。

提案手法

• ノード/エッジ属性（色、形、エッジ方向など）を制御可能な有向グラフ図を構築する。
• 視覚エンコーダ層と言語モデル層の隠れ状態に対して線形プローブを訓練し、ノード/エッジ/グローバル情報の線形分離性を評価する。
• 高い探査精度を有する視覚エンコーダのパッチを操作して介入を行い、VQA性能への影響を測定する。
• 複数の LVLM（主に Qwen3-VL-8B-Instruct; 付録に追加モデル）で評価する。
• 探査訓練用にはランダム配置、ロバストな検証には固定配置のデータセットを定義する。

Figure 1: Overview of this study. We analyze internal representations in LVLMs using probing on a synthetic diagram dataset. We find that node information (e.g., node color) and global information (e.g., node count) are linearly encoded in a single image patch within the vision encoder, whereas edge

実験結果

リサーチクエスチョン

• RQ1 LVLM アーキテクチャのどの部分（視覚エンコーダ vs. 言語モデル）でノード、エッジ、グローバル図表属性が線形デコード可能になるのか。
• RQ2 エッジはノードやグローバル構造と比較して、デコード可能性が早く現れるのか遅く現れるのか。
• RQ3 線形デコード可能な視覚エンコード情報を攪乱すると、VQA/推論結果に因果的影響を与えるのか。
• RQ4 図表のレイアウト（ランダム vs 固定）が内部表現と探査結果にどう影響するのか。
• RQ5 VQA でエッジ関連タスクの成績が相対的に低い理由は何か。

主な発見

Node Color	Node Shape	In-degree Count	Out-degree Count	Edge Color	Edge Style	Edge Existence	Edge Direction	Multi-hop Path	Node Count	Edge Count
91.4	76.6	40.3	34.7	57.3	73.5	69.6	49.3	58.3	40.3	21.6
Chance level	Chance level	Chance level	Chance level	Chance level	Chance level	Chance level	Chance level	Chance level	Chance level	Chance level

• ノード情報とグローバル機能は、視覚エンコーダ内の単一の画像パッチに線形エンコードされる。
• エッジ情報は、言語モデル内の単一のテキストトークンに線形エンコードされる。
• 単一およびグローバルな側面は深い層でよりデコーダブルになる一方、複数の側面は任意の単一の隠れ状態からのデコードが困難なままである。
• プロービング精度の閾値は、視覚エンコーダ表現が介入時にいくつかの側面でVQA性能に因果的に寄与することを示す。
• エッジ方向はVQA性能でほぼチャンスレベル付近で推移し、関係的方向理解の難しさを示唆する。
• 因果的介入は、探索精度の高いパッチが破壊されるとVQAの精度が著しく低下することを示し、視覚エンコード情報が推論に因果的役割を果たすことを支持する。

Figure 2: Examples of synthetic diagrams. Each diagram contains five nodes, and we control evaluation aspects such as node color, shape, and edge connectivity. We provide two variants: $\mathcal{D}_{\mathrm{rand}}$ , which uses random node layouts (left part), and $\mathcal{D}_{\mathrm{fix}}$ , whic