[論文レビュー] Geometric and Dynamic Scaling in Deep Transformers

Haoran Su, Chenyu You|arXiv (Cornell University)|Jan 3, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

Manifold-Geometric Transformer (MGT) を提案。 manifold-constrained hyper-connections (mHC) と Deep Delta Learning (DDL) を組み合わせ、超深層 Transformer の安定化と消去可能な更新を可能にする。

ABSTRACT

Despite their empirical success, pushing Transformer architectures to extreme depth often leads to a paradoxical failure: representations become increasingly redundant, lose rank, and ultimately collapse. Existing explanations largely attribute this phenomenon to optimization instability or vanishing gradients, yet such accounts fail to explain why collapse persists even under modern normalization and initialization schemes. In this paper, we argue that the collapse of deep Transformers is fundamentally a geometric problem. Standard residual updates implicitly assume that feature accumulation is always beneficial, but offer no mechanism to constrain update directions or to erase outdated information. As depth increases, this leads to systematic drift off the semantic manifold and monotonic feature accumulation, causing representational degeneracy. We propose a unified geometric framework that addresses these failures through two orthogonal principles. First, manifold-constrained hyper-connections restrict residual updates to valid local tangent directions, preventing uncontrolled manifold drift. Second, deep delta learning introduces data-dependent, non-monotonic updates that enable reflection and erasure of redundant features rather than their unconditional accumulation. Together, these mechanisms decouple the direction and sign of feature updates, yielding a stable geometric evolution across depth. We term the resulting architecture the Manifold-Geometric Transformer (MGT). Our analysis predicts that enforcing geometric validity while allowing dynamic erasure is essential for avoiding rank collapse in ultra-deep networks. We outline an evaluation protocol for Transformers exceeding 100 layers to test the hypothesis that geometry, rather than depth itself, is the key limiting factor in deep representation learning.

研究の動機と目的

• 深さが増すにつれて標準的な残差がランク崩壊を引き起こす理由を動機づける。
• データ多様体を制約する幾何学的・動的フレームワークを導入し、更新を多様体上に制約し消去を可能にする。
• 二つの正交成分（mHCとDDL）を提案し、それらの相乗効果が安定性に寄与することを示す。
• 100 層超の超深層スケーリングを検証する厳密な評価プロトコルを提供する。

提案手法

• 更新をデータ多様体の接空間へソフト投影する形で Manifold-Constrained Hyper-Connections (mHC) を定義する。
• データ依存ゲート beta を用いた Deep Delta Learning (DDL) を導入し、消去と制御済み書込みを可能にする。
• Delta Operator A(beta,k)=I-beta k k^T を定式化し、そのスペクトル特性と三つの幾何学的領域を導出する。
• MGT ブロックへ mHC と DDL を統合し、三相フォワードパス（生成、幾何学的整正、デルタ動力学）を採用する。
• 明示的な MGT 更新ルール X_{l+1}=X_l+beta*(V_mHC - alpha*X_l) を提供し、消去・書込みのセマンティクスを議論する。
• ランクの変化、アブレーション、beta 分布分析、深さスケーリング、言語モデリングテストを含む評価フレームワークを概説する。

Figure 1: Architecture of the Manifold-Geometric Transformer (MGT) Block. The pipeline explicitly separates three phases: (1) Generation via LayerNorm and MHSA/FFN producing raw updates $\mathbf{V}_{raw}$ , (2) Geometric Rectification via mHC projection $\Psi$ constraining updates to the tangent spa

実験結果

リサーチクエスチョン

• RQ1 非常に深いモデルで実際に標準 Transformer の深さがランク崩壊を引き起こすか？
• RQ2 多様体制約と動的消去は表現のドリフトを緩和し、超深層スケーリングを支援できるか？
• RQ3 mHC および DDL の個別および結合の貢献は安定性と性能にどのように影響するか？
• RQ4 3 相の MGT ブロックは 100 層以上で勾配フローを維持し、消去-書込みを可能にするか？
• RQ5 MGT は大規模な言語モデリングタスクでの困難さ（パープレキシティ、訓練安定性）にどのような影響を与えるか？

主な発見

• 本論文は、幾何的制約と動的消去を組み合わせることが、現行の深さ制限を超えるスケーリングに不可欠であるという理論的根拠を提示する。
• MGT は、更新を接空間方向へ制限し、その大きさをデータ依存ゲートで調整するモジュラブルなブロックを導入する。
• Delta Residual Block は消去と書込みのダイナミクスを回復させ、非単調な更新を可能にする。
• 幾何学が Transformer スケーリングの根本的なボトルネックであるという仮説を否定する実験的枠組みが提案されている。
• このアプローチは勾配フローを維持しつつ、ランク崩壊を防ぐための有害な特徴の消去を許容することを目指す。