[논문 리뷰] Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis

Mangadoddi Srikar Vardhan, Lekkala Sai Teja|arXiv (Cornell University)|2026. 01. 19.

Neurobiology of Language and Bilingualism인용 수 0

한 줄 요약

요약: 이 논문은 L2-매칭 섭동 분석을 도입해 트랜스포머 표현에서 방향(각도)과 크기(노름)의 역할을 분리해내고, 교차적 이질현상(cross-over dissociation)을 밝힌다: 각도 섭동은 언어 모델링에 더 큰 손상을 주고, 크기 섭동은 문법 처리에 더 큰 손상을 주며, 주의(attention)와 LayerNorm을 통한 인과 경로를 제시한다.

ABSTRACT

Transformer hidden states encode information as high-dimensional vectors, yet whether direction (orientation in representational space) and magnitude (vector norm) serve distinct functional roles remains unclear. Studying Pythia-family models, we discover a striking cross-over dissociation: angular perturbations cause up to 42.9 more damage to language modeling loss, while magnitude perturbations cause disproportionately more damage to syntactic processing (20.4% vs.1.6% accuracy drop on subject-verb agreement).This finding is enabled by L2-matched perturbation analysis, a methodology ensuring that an gular and magnitude perturbations achieve identical Euclidean displacements. Causal intervention reveals that angular damage flows substantially through the attention pathways (28.4% loss recovery via attention repair), while magnitude damage flows partly through the LayerNorm pathways(29.9% recovery via LayerNorm repair). These patterns replicate across scales within the Pythia architecture family. These findings provide evidence that direction and magnitude support partially distinct computational roles in LayerNorm based architectures. The direction preferentially affects attentional routing, while magnitude modulates processing intensity for fine-grained syntactic judgments. We find different patterns in RMSNorm-based architectures, suggesting that the dissociation depends on architectural choices. Our results refine the linear representation hypothesis and have implications for model editing and interpretability research

연구 동기 및 목표

• 트랜스포머 은닉 상태의 방향(방향성)과 크기(노름)가 서로 다른 기능적 역할을 하는지 조사한다.
• 언어 모델링과 구문 처리에 대한 이들의 기여를 분리한다.
• 방향과 크기에 대해 섭동 크기를 같게 하는 통제된 섭동 방법론을 개발하고 검증한다.
• 섭동이 주의와 정규화 경로를 통해 어떻게 전달되는지에 대한 기계적(In mechanistic) 통찰을 제공한다.

제안 방법

• 각도(방향)과 크기 섭동에 대해 유클리드 거리 변위를 동일하게 맞추려는 L2-매칭 섭동 분석을 도입한다.
• 순전파 중 Pythia 모델의 8–15층에서 은닉 상태에 섭동을 적용한다.
• 언어 모델링 손실과 BLiMP 주어-동사 일치 정확도에 대한 효과를 측정한다.
• 주의 출력과 LayerNorm을 수정하는 인과적 개입을 수행해 기계적 경로를 확인한다.
• Pythia-410M과 Pythia-1.4B 규모에서 발견을 재현한다.

Figure 1 : Cross-over dissociation. (A) Loss damage across $\delta$ values: angular perturbations (red) cause up to 42.9 $\times$ more damage than magnitude perturbations (blue) at small displacements. (B) BLiMP accuracy drop: the pattern reverses, with magnitude perturbations causing 12.8 $\times$

실험 결과

연구 질문

• RQ1 각도(방향) 및 크기 섭동이 다운스트림 작업에서 동일한 변위 효과를 보이는가?
• RQ2 각 섭동 유형에 의해 더 영향을 받는 다운스트림 작업은 무엇인가(언어 모델링 vs 구문 판단)?
• RQ3 관찰된 손상을 매개하는 기계적 경로(주의 vs LayerNorm)는 무엇인가?

주요 결과

• 각도 섭동은 매칭된 변위에서도 크기 섭동보다 훨씬 더 큰 손실 손상을 유발하며, 가장 작은 delta에서 최대 42.9×의 손실 영향 차이를 보인다.
• 크기 섭동은 BLiMP 주어-동사 일치에서 각도 섭동보다 상당히 큰 감소를 야기하며(delta=10에서 최대 21.1% 차).
• 교차 이질현상(cross-over dissociation)이 나타나: 각도 섭동이 손실에 치명적이고, 크기 섭동은 구문에 치명적이다.
• 주의 수정은 각도 유발 손실의 28.4%(410M)와 23.8%(1.4B)를 회복시키며, 각도 손상이 주의 경로를 통해 크게 흐른다를 시사한다.
• LayerNorm 수리는 크기 유발 손상의 29.9%(410M)와 각도(1.4B 패턴)에서 2.0%를 회복하여, 크기 손상이 LayerNorm 경로를 통해 매개됨을 시사한다.
• 이 이질현상은 Pythia 계열 내에서 일반화되고 더 큰 규모에서 확대되지만, OPT-T/TinyLlama 계열 간 아키텍처 의존적인 변동을 보인다.

Figure 2 : Dissociation replicates and amplifies at scale. (A) Angular/magnitude loss damage ratio (log scale) across perturbation magnitudes. The effect is 2 to 4 $\times$ stronger in Pythia-1.4B (light blue) than Pythia-410M (dark blue). (B) Causal attention repair pattern replicates across scales