[論文レビュー] Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis

Mangadoddi Srikar Vardhan, Lekkala Sai Teja|arXiv (Cornell University)|Jan 19, 2026

Neurobiology of Language and Bilingualism被引用数 0

ひとこと要約

論文は、L2一致 perturbation 分析を導入して、トランスフォーマー表現における方向と大きさの役割を分離し、クロスオーバーな解離を明らかにする。角度方向の撹乱は言語モデリングをより害し、大きさの撹乱は統語処理をより害する。注意機構と LayerNorm を介した因果経路を示す。

ABSTRACT

Transformer hidden states encode information as high-dimensional vectors, yet whether direction (orientation in representational space) and magnitude (vector norm) serve distinct functional roles remains unclear. Studying Pythia-family models, we discover a striking cross-over dissociation: angular perturbations cause up to 42.9 more damage to language modeling loss, while magnitude perturbations cause disproportionately more damage to syntactic processing (20.4% vs.1.6% accuracy drop on subject-verb agreement).This finding is enabled by L2-matched perturbation analysis, a methodology ensuring that an gular and magnitude perturbations achieve identical Euclidean displacements. Causal intervention reveals that angular damage flows substantially through the attention pathways (28.4% loss recovery via attention repair), while magnitude damage flows partly through the LayerNorm pathways(29.9% recovery via LayerNorm repair). These patterns replicate across scales within the Pythia architecture family. These findings provide evidence that direction and magnitude support partially distinct computational roles in LayerNorm based architectures. The direction preferentially affects attentional routing, while magnitude modulates processing intensity for fine-grained syntactic judgments. We find different patterns in RMSNorm-based architectures, suggesting that the dissociation depends on architectural choices. Our results refine the linear representation hypothesis and have implications for model editing and interpretability research

研究の動機と目的

• トランスフォーマー隠れ状態の方向（向き）と大きさ（ノルム）は異なる機能的役割を果たすかを調査する。
• 言語モデリングと統語処理への寄与を分離する。
• 方向と大きさの撹乱サイズを等しくする統制済み撹乱手法を開発・検証する。
• 撹乱が注意機構と正規化(Pathways)を通じてどのように伝搬するかの機械的洞察を提供する。

提案手法

• 角度と大きさの撹乱のユークリッド距離を等しくする L2一致撹乱分析を導入する。
• Pythia モデルの層 8–15 における前方伝播中の隠れ状態を撹乱する。
• 言語モデリング損失と BLiMP 主語-動詞一致の精度への影響を測定する。
• 注意出力と LayerNorm を修復する因果介入を行い、機械的経路を同定する。
• Pythia-410M および Pythia-1.4B のスケール間で再現性を検証する。

Figure 1 : Cross-over dissociation. (A) Loss damage across $\delta$ values: angular perturbations (red) cause up to 42.9 $\times$ more damage than magnitude perturbations (blue) at small displacements. (B) BLiMP accuracy drop: the pattern reverses, with magnitude perturbations causing 12.8 $\times$

実験結果

リサーチクエスチョン

• RQ1 Angular（方向）撹乱と Magnitude（大きさ）撹乱は、下流タスクに等距離の影響を及ぼすか。
• RQ2 各撹乱タイプが、言語モデリングと統語判断のどちらのタスクにより影響を受けやすいか。
• RQ3 観測される損傷を媒介する機械的経路（注意 vs LayerNorm）は何か。

主な発見

• 一致させた変位量において、角度撹乱は大きさ撹乱より著しく損失を大きく損なう（最小の delta で 42.9× の損失影響まで）。
• Magnitude 撹乱は角度撾乱より BLiMP 主語-動詞一致の低下を大幅に引き起こす（delta=10 で最大 21.1% 上昇）。
• クロスオーバーな解離が出現：角度撹乱は損失に対して致命的、 magnitude 撹乱は統語処理に致命的。
• Attention 修復により角度起因の損失の 28.4% を回復（410M）、23.8%（1.4B）を回復、角度損傷が主に注意経路を介して伝搬することを示唆。
• LayerNorm 修復により magnitude 起因の損傷の 29.9% を回復（410M）、角度では 1.4B で 2.0%。すなわち magnitude 損傷は LayerNorm 経路を介して媒介。
• この解離は Pythia ファミリ内で一般化し、スケールが大きくなるほど増幅するが、OPT-T/TinyLlama ファミリ間でアーキテクチャ依存の変動を示す。

Figure 2 : Dissociation replicates and amplifies at scale. (A) Angular/magnitude loss damage ratio (log scale) across perturbation magnitudes. The effect is 2 to 4 $\times$ stronger in Pythia-1.4B (light blue) than Pythia-410M (dark blue). (B) Causal attention repair pattern replicates across scales