[論文レビュー] Transformers learn factored representations

Adam Shai, Loren Amdahl-Culleton+7 more|arXiv (Cornell University)|Feb 2, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は、次 token 予測で事前学習されたトランスフォーマーが自発的に因子表現を学習し、因子を直交部分空間に整理し、因子が条件付き独立であるときに次元削減を指数的に達成することを示す。忠実度が低下しても因子化への帰納的バイアスを持つ。

ABSTRACT

Transformers pretrained via next token prediction learn to factor their world into parts, representing these factors in orthogonal subspaces of the residual stream. We formalize two representational hypotheses: (1) a representation in the product space of all factors, whose dimension grows exponentially with the number of parts, or (2) a factored representation in orthogonal subspaces, whose dimension grows linearly. The factored representation is lossless when factors are conditionally independent, but sacrifices predictive fidelity otherwise, creating a tradeoff between dimensional efficiency and accuracy. We derive precise predictions about the geometric structure of activations for each, including the number of subspaces, their dimensionality, and the arrangement of context embeddings within them. We test between these hypotheses on transformers trained on synthetic processes with known latent structure. Models learn factored representations when factors are conditionally independent, and continue to favor them early in training even when noise or hidden dependencies undermine conditional independence, reflecting an inductive bias toward factoring at the cost of fidelity. This provides a principled explanation for why transformers decompose the world into parts, and suggests that interpretable low dimensional structure may persist even in models trained on complex data.

研究の動機と目的

• トランスフォーマーが世界を離散的な部分に因子化して学習するかという問いを動機づける。
• 二つの表現仮説（結合的 vs. 因子化された）を形式化し、幾何学的予測を導出する。
• 知覚潜在構造を持つ合成データ上で、因子化表現を学習するかを検証する。
• 因子化が帰納的バイアスであるか、条件付き独立性が破られたときの挙動を評価する。

提案手法

• 潜在データ構造と活性化幾何を一般化Hidden Markov Models（GHMMs）を用いて結ぶ理論的枠組みをDevelopする。
• 予測ベクトルを定義し、結合表現と因子化表現の下での幾何を分析する。
• 5つの潜在因子（3つの3状態HMMと2つの3D GHMM）を用いた合成データを構築し、次token予測でGPT-2風のトランスフォーマーを訓練する。
• PCAと各サブスペースを変化させた分析を用いて因子特異的サブスペースを特定し、直交性を検証する。
• ノイズチャネルを追加して条件付き独立性の有意義な破れを導入し、表現への影響を観察する。
• 一般性を評価するためにRNN/LSTMで実験を再現する。）

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは予測情報を結合テンソル積空間に表現するのか、それとも直交する因子化された部分空間構造に表現するのか？
• RQ2 データ生成条件がどのときトランスフォーマーは因子化された表現を優先的に学習するのか？
• RQ3 因子化がアーキテクチャの帰納的バイアスであり、予測忠実度が低下する場合でもそれが生じるのか？
• RQ4 因子間の条件付き独立性が弱まるまたは壊れるとき、表現はどのように変化するのか？
• RQ5 RNNベースのアーキテクチャもトランスフォーマーと同様の因子化表現を示すのか？

主な発見

• データ生成過程が条件付き独立な因子に分解されるとき、トランスフォーマーは因子化表現を学習し、指数的な次元削減を達成する（結合空間は ∏d_n − 1 次元、因子化は ∑(d_n − 1) 次元）
• 活性化はN個の直交サブスペースに編成され、各因子ごとに1つのサブスペースが存在し、各因子の予測ベクトルがそのサブスペースに位置する。
• 因子化表現は訓練初期から現れ、埋め込み層を含む段階でも現れ、条件付き独立性が完全でなくても維持される。
• 因子がノイズにより完全には独立でなくなっても、モデルは因子化解を好み、忠実度を回復するために次元を拡張する前にまず因子化領域に留まる。
• RNN/LSTMも因子化表現への傾向を示し、より広いアーキテクチャ現象を示している。