[論文レビュー] SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds

Viktor Stein, Wuchen Li+1 more|arXiv (Cornell University)|Mar 17, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

論文は密度流域上の慣性（ネステロフ型）ダイナミクスに基づくTransformerの加速注意ブロックを導出し、Hamiltonianモーメンタム注意ブロックを導出してオラクル呼び出しを維持しつつ収束を速くすることを示す。線形注意とsoftmax注意をSteinおよびWasserstein勾配流で解析し、実装可能な粒子ベースの離散化を提供する。

ABSTRACT

Transformers owe much of their empirical success in natural language processing to the self-attention blocks. Recent perspectives interpret attention blocks as interacting particle systems, whose mean-field limits correspond to gradient flows of interaction energy functionals on probability density spaces equipped with Wasserstein-$2$-type metrics. We extend this viewpoint by introducing accelerated attention blocks derived from inertial Nesterov-type dynamics on density spaces. In our proposed architecture, tokens carry both spatial (feature) and velocity variables. The time discretization and the approximation of accelerated density dynamics yield Hamiltonian momentum attention blocks, which constitute the proposed accelerated attention architectures. In particular, for linear self-attention, we show that the attention blocks approximate a Stein variational gradient flow, using a bilinear kernel, of a potential energy. In this setting, we prove that elliptically contoured probability distributions are preserved by the accelerated attention blocks. We present implementable particle-based algorithms and demonstrate that the proposed accelerated attention blocks converge faster than the classical attention blocks while preserving the number of oracle calls.

研究の動機と目的

• Transformer注意ブロックの変分・密度空間解釈を動機付ける。
• 慣性（Nesterov型）ダイナミクスを導入して加速注意ブロックを開発する。
• Hamiltonianモーメンタム注意ブロックと対応する離散化を導出する。
• 線形注意に対してStein勾配流の挙動と楕円化された分布の保存性といった理論的特性を示す。
• 実装可能な粒子ベースアルゴリズムを提供し、古典的注意ブロックとの収束を比較する。

提案手法

• 確率密度空間上の勾配流をWasserstein-2またはStein距離で離散化としてモデル化する。
• 密度多様体上の二次の慣性（ハミルトン）ダイナミクスを導出し、モーメンタム強化注意ブロックへと導く。
• 線形自己注意に特化して、カーネルk(x,y)=y^T A xを用いた二次ポテンシャルエネルギーのStein勾配流を導出する。
• 線形注意ダイナミクスの下で楕円化された分布の保存を証明する。
• softmax自己注意にもStein-Wasserstein型勾配流を拡張し、対応する加速ダイナミクスを導出する。
• 有限次元の慣性相互作用粒子系を生む実装可能な粒子ベース離散化を提供する。

Figure 2: Validation loss (circles) and training loss (lines) on the tinystories data set after 10000 optimization steps, illustrating the results from Table ˜ 1 .

実験結果

リサーチクエスチョン

• RQ1 注意ブロックに密度流域上の慣性ダイナミクスを与えて収束を加速できるか。
• RQ2 加速注意ブロックと確率空間上の勾配流との数学的関係は何か。
• RQ3 線形注意の下で楕円化された分布といった構造的ファミリを保存するか。
• RQ4 加速流を実用的な粒子ベースアルゴリズムへ離散化する方法は。
• RQ5 線形およびsoftmax注意に対して加速ブロックは古典的対照と比較してどの程度性能を発揮するか。

主な発見

• 加速線形注意は二次時相の慣性系とともに二次エネルギーのStein変分勾配流を生み出す。
• 加速ダイナミクスは線形注意の下で楕円化された分布を保存する。
• 具体的な粒子ベース離散化が導出され、線形注意のための有限次元の線形減衰型ハミルトニアン系を生成する。
• softmax注意では加速流を非線形モビリティを伴うWasserstein-2型勾配流として定式化し、対応する粒子系が提供される。
• このフレームワークは古典的注意ブロックよりも速く収束する実装可能なアルゴリズムを生み出しつつ、同じオラクル呼び出しを維持する。