[論文レビュー] A mathematical perspective on Transformers

Borjan Geshkovski, Cyril Letrouit+2 more|arXiv (Cornell University)|Dec 17, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、Transformerを単位球面上を動く相互作用粒子系として定式化し、自己注意機構のダイナミクスが Wasserstein 勾配流を介して長時間にわたりトークンが1点に凝集することを示している。主な結果として、高次元空間または小さな結合パラメータの場合、すべてのトークンが同期状態に収束することを示しており、確率的次トークン予測における決定的出力のパラドックスを、準安定凝集体ダイナミクスによって解消している。

ABSTRACT

Transformers play a central role in the inner workings of large language models. We develop a mathematical framework for analyzing Transformers based on their interpretation as interacting particle systems, which reveals that clusters emerge in long time. Our study explores the underlying theory and offers new perspectives for mathematicians as well as computer scientists.

研究の動機と目的

• Transformerを連続時間の相互作用粒子系として単位球面上にモデル化することにより、Transformerの理解に向けた厳密な数学的枠組みを構築すること。
• 自己注意機構のダイナミクスの長時間挙動、特に高次元空間における凝集体の出現を分析すること。
• 次トークン予測における決定的出力と言語モデルの確率的性質の間にある表面的な矛盾を、準安定凝集体状態によって解消すること。
• Transformerのダイナミクスと、Wasserstein 勾配流、球面上の最適点配置、非線形輸送方程式といった既存の数学的概念との関連を確立すること。

提案手法

• 層のインデックスを時間変数とみなして、Transformerの離散的層を連続時間の力学系としてモデル化する。
• 各トークンを単位球面 $\mathbb{S}^{d-1}$ 上の粒子として表現し、層正則化の制約のもとで、自己注意機構をすべての粒子の経験測度を介した非線形結合としてモデル化する。
• 経験測度の時間発展を連続の方程式を用いて定式化し、非線形輸送PDEと関連付ける。
• 球面上の最適点配置に関連するエネルギー関数 functional に対する Wasserstein 勾配流を実現する代替自己注意機構を導入する。
• 微分幾何学と最適化の道具を用いて系を分析し、ヘッセ行列の分析や球面多様体上の臨界点の分類を含む。
• パrameter $\beta \to 0$ の極限を調べ、ヘッセ行列の固有値が $\beta$ に関して連続であることを利用し、同期状態のみが安定であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 Transformerにおける自己注意機構は、時間経過とともにトークンの凝集をどのように引き起こすか？
• RQ2 特に高次元設定において、Transformer内のトークンが形成する粒子系の長時間挙動はいかなるものか？
• RQ3 言語モデルが確率分布をモデル化しているにもかかわらず、なぜTransformerは次トークン予測で決定的出力を生成するのか？
• RQ4 どのような条件下で系は単一の同期状態に収束するのか？ これは結合パラメータ $\beta$ とどのように関係するか？
• RQ5 球面多様体の幾何学的および力学的性質は、注意機構の安定性と収束性にどのように影響を与えるか？

主な発見

• 高次元空間（$d \geq n$）では、$\mathbb{S}^{d-1}$ 上に初期化された $n$ 個の粒子が $t \to \infty$ のとき1点に収束し、グローバル凝集体が生じることを示している。
• 小さな $\beta$ に対して、エネルギー関数 $\mathsf{E}_{\beta}$ の同期状態以外のすべての臨界点が厳密な鞍点であることが示され、同期状態の安定性が裏付けられている。
• 系は二段階の時間スケールのダイナミクスを示す：速やかに少数のグループに凝集し、その後ゆっくりと1つの凝集体に合体する。
• 代替自己注意機構は、球面上の最適配置理論で広く研究されているエネルギー関数に対する Wasserstein 勾配流である。
• 臨界点におけるエネルギー関数のヘッセ行列は、リーマン計量に依存せず、したがって勾配流の異なる定式化においても鞍点の性質が保たれることを保証する。
• 十分に小さい $\beta \leq c n^{-1}$（$c > 0$ で $n$ に依存しない）に対して、非同期状態の臨界点はすべて厳密な鞍点であることが示され、長時間にわたる同期状態の優位性が確認された。