[論文レビュー] The emergence of clusters in self-attention dynamics

Borjan Geshkovski, Cyril Letrouit+2 more|arXiv (Cornell University)|May 9, 2023

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、Transformerにおける自己注意機構を、相互作用する粒子系としてモデル化し、トークンが初期トークン位置および値行列の固有値スペクトルに依存する凸ポリトープの頂点や超平面へ漸近的に凝集することを示している。1次元の場合に自己注意行列が低ランクのブール行列に収束することを数学的に証明し、注意ダイナミクスにおける「リーダー」の出現を裏付けた。

ABSTRACT

Viewing Transformers as interacting particle systems, we describe the geometry of learned representations when the weights are not time dependent. We show that particles, representing tokens, tend to cluster toward particular limiting objects as time tends to infinity. Cluster locations are determined by the initial tokens, confirming context-awareness of representations learned by Transformers. Using techniques from dynamical systems and partial differential equations, we show that the type of limiting object that emerges depends on the spectrum of the value matrix. Additionally, in the one-dimensional case we prove that the self-attention matrix converges to a low-rank Boolean matrix. The combination of these results mathematically confirms the empirical observation made by Vaswani et al. [VSP'17] that leaders appear in a sequence of tokens when processed by Transformers.

研究の動機と目的

• 自己注意機構を連続時間の相互作用粒子系としてモデル化することで、Transformerにおける学習済み表現の幾何的構造を理解すること。
• 時間に依存しない固定された自己注意重みのもとで、時間無限大におけるトークンダイナミクスの漸近的挙動を特徴づけること。
• 特定のトークンが注意機構において「リーダー」として機能するという経験的観察を数学的に説明すること。
• 制限された幾何的構造（ポリトープまたは超平面）が、値行列 $V$ の固有値スペクトルにどのように依存するかを特定すること。
• 特に1次元の場合に自己注意行列が低ランクのブール行列に収束する条件を確立すること。

提案手法

• 各トークンがクエリ、キー、値行列に基づく注意スコアから得られる重み付き集約によって進化する連続時間動的システムとして、Transformer層をモデル化する。
• 自己注意行列 $P(t)$ を用い、クエリとキーの射影の内積のソフトマックスにより定義され、トークンの進化を支配する。
• 長期間におけるシステム挙動を分析するために、動的システム理論および偏微分方程式の道具を適用する。
• 1次元の場合に、注意重みの漸近的解析を用いて、自己注意行列が低ランクのブール行列に収束することを証明する。
• 値行列 $V$ が正定値の場合、トークンは初期トークン位置に依存する凸ポリトープの頂点へ凝集する。$V$ が特定の固有値構造を持つ場合、トークンは超平面へ凝集する。
• 非正定値 $Q^T K$ や非単位行列 $V$ の場合にも結果を拡張し、数値実験により凝集パターンのロバスト性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 固定された自己注意重みのもとで、Transformer層内のトークン表現は時間経過とともにどのように変化するか？
• RQ2 時間無限大に近づく際、トークンの凝集体はどのような幾何的構造を形成するか？
• RQ3 値行列 $V$ の固有値スペクトルが、トークンが凝集する極限的対象（例えばポリトープや超平面）の種類にどのように影響するか？
• RQ4 自己注意行列が低ランクのブール行列に収束する条件は何か？
• RQ5 $Q^T K$ や $V$ に関する仮定を緩和した場合、凝集現象はどの程度維持されるか？

主な発見

• $V > 0$ の1次元の場合、自己注意行列 $P(t)$ は $\{0,1\}$ の要素を持つ低ランクのブール行列に収束し、離散的リーダーの出現を確認した。
• 値行列 $V$ が正定値の場合、トークンは初期トークン位置に依存する凸ポリトープの頂点へ凝集する。
• $V$ が特定の固有値構造を持つ場合、トークンは超平面へ凝集し、極限的配置は $V$ の固有空間への初期トークンの射影に依存する。
• 数値実験により、$Q^T K$ が半正定値でない場合でも凝集が維持されることを示し、仮定を厳密に満たさない場合でも現象のロバスト性を示唆した。
• ReLU や tanh 活性化関数を有する前向き伝搬層を追加しても凝集は破壊されないが、特定の重み設定ではダイナミクスがゼロに収束する可能性がある。
• 理論的枠組みにより、Vaswaniら（2017）が経験的に観察した「リーダー」として機能する特定のトークンの現象が、漸近的幾何的収束によって説明された。