[논문 리뷰] Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models

Haruto Yoshida, Keito Kudo외 5명|arXiv (Cornell University)|2026. 03. 03.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

논문은 LVLM이 다이어그램 요소를 어떻게 표현하는지 조사하며, 노드와 글로벌 구조는 비전 패치에 선형적으로 인코딩되고, 간선은 텍스트 토큰에서만 선형적으로 해독될 수 있으며, 비전 인코딩 정보가 예측에 영향을 미친다는 인과적 증거를 제시합니다.

ABSTRACT

Large vision-language models (LVLMs) demonstrate strong performance on diagram understanding benchmarks, yet they still struggle with understanding relationships between elements, particularly those represented by nodes and directed edges (e.g., arrows and lines). To investigate the underlying causes of this limitation, we probe the internal representation of LVLMs using a carefully constructed synthetic diagram dataset based on directed graphs. Our probing experiments reveal that edge information is not linearly separable in the vision encoder and becomes linearly encoded only in the text tokens in the language model. In contrast, node information and global structural features are already linearly encoded in individual hidden states of the vision encoder. These findings suggest that the stage at which linearly separable representations are formed varies depending on the type of visual information. In particular, the delayed emergence of edge representations may help explain why LVLMs struggle with relational understanding, such as interpreting edge directions, which require more abstract, compositionally integrated processes.

연구 동기 및 목표

• 기본 다이어그램 요소(노드, 간선)와 글로벌 구조를 LVLM이 내부에서 어떻게 표현하는지 조사한다.
• 노드, 간선, 글로벌 정보가 선형적으로 해독가능해지는 위치(모듈/레이어)와 시점(단계)을 결정한다.
• 다이어그램 이해 태스크에서 선형적으로 해독 가능한 정보가 모델의 예측에 인과적으로 영향을 미치는지 평가한다.
• 표현 형성을 미세하게 탐색할 수 있도록 컨트롤 가능한 합성 다이어그램 데이터셋을 사용한다.

제안 방법

• 노드/간선 속성(색상, 모양, 간선 방향 등)을 제어 가능한 합성 방향성 다이어그램으로 구성한다.
• 비전 인코더 레이어와 언어 모델 레이어의 숨겨진 상태에 대해 선형 프로브를 학습시켜 노드/간선/글로벌 정보의 선형 구분성을 테스트한다.
• 탐침 정확도가 높은 비전 인코더 패치를 교란하여 VQA 성능에 미치는 영향을 측정하는 인과적 개입을 수행한다.
• 다수의 LVLM들을 평가한다(주로 Qwen3-VL-8B-Instruct; 부록의 추가 모델들).
• 탐색 학습을 위한 무작위 레이아웃으로 평가 데이터셋을 정의하고, 다양한 변형에서도 견고한 테스트를 수행한다.

Figure 1: Overview of this study. We analyze internal representations in LVLMs using probing on a synthetic diagram dataset. We find that node information (e.g., node color) and global information (e.g., node count) are linearly encoded in a single image patch within the vision encoder, whereas edge

실험 결과

연구 질문

• RQ1 LVLM 아키텍처의 어느 부분(비전 인코더 대 언어 모델)에서 노드, 간선, 글로벌 다이어그램 속성이 선형적으로 해독 가능한가?
• RQ2 간선이 노드와 글로벌 구조에 비해 더 빨리 또는 더 늦게 해독 가능성이 나타나는가?
• RQ3 선형적으로 해독 가능한 비전 인코더 정보를 perturb하여 VQA/추론 결과에 인과적으로 영향을 주는가?
• RQ4 다이어그램 레이아웃(무작위 대 고정)이 내부 표현과 탐침 결과에 어떤 영향을 미치는가?
• RQ5 VQA에서 간선 관련 태스크의 약한 성능 차이가 LVLM의 원인인가?

주요 결과

노드 색상	노드 모양	입도 수	출도 수	간선 색상	간선 스타일	간선 존재 여부	간선 방향	다단계 경로	노드 수	간선 수
91.4	76.6	40.3	34.7	57.3	73.5	69.6	49.3	58.3	40.3	21.6
확률 수준	확률 수준	확률 수준	확률 수준	확률 수준	확률 수준	확률 수준	확률 수준	확률 수준	확률 수준	확률 수준

• 노드 정보와 글로벌 특징은 비전 인코더의 단일 이미지 패치 내에서 선형적으로 인코딩된다.
• 간선 정보는 언어 모델의 단일 텍스트 토큰 내에서 선형적으로 인코딩된다.
• 단일 및 글로벌 요소는 더 깊은 레이어에서 더 해독 가능해지지만, 다수의 요소는 어떤 단일 숨겨진 상태에서 해독하기 여전히 어렵다.
• 탐침 정확도 임계치가 비전-인코더 표현이 VQA 성능에 인과적으로 기여함을 보인다.
• 간선 방향은 VQA 성능에서 거의 기회 수준으로 남아 있어 관계 방향 이해의 고유 난이도를 시사한다.
• 인과적 개입은 높은 탐침 정확도 패치를 손상시켰을 때 VQA 정확도 하락을 크게 보여, 비전 인코딩 정보가 추론에 인과적 역할을 한다는 것을 뒷받침한다.

Figure 2: Examples of synthetic diagrams. Each diagram contains five nodes, and we control evaluation aspects such as node color, shape, and edge connectivity. We provide two variants: $\mathcal{D}_{\mathrm{rand}}$ , which uses random node layouts (left part), and $\mathcal{D}_{\mathrm{fix}}$ , whic