[論文レビュー] Mapping of attention mechanisms to a generalized Potts model

Riccardo Rende, Federica Gerace+2 more|arXiv (Cornell University)|Apr 14, 2023

Speech and dialogue systems参考文献 51被引用数 4

ひとこと要約

この論文は、変換器における1層の自己注意機構と、語の位置とトークンタイプの間の相互作用を持つ一般化Pottsモデルの逆問題との間で、正確な解析的マッピングを確立する。マスクされた言語モデル学習の訓練は、擬似尤度を用いた逆Potts問題の解法に等しいことが示され、レプリカ法を用いて一般化誤差を解析的に計算し、自己注意が構造的分布を学習する際の統計的限界を明らかにする。

ABSTRACT

Transformers are neural networks that revolutionized natural language processing and machine learning. They process sequences of inputs, like words, using a mechanism called self-attention, which is trained via masked language modeling (MLM). In MLM, a word is randomly masked in an input sequence, and the network is trained to predict the missing word. Despite the practical success of transformers, it remains unclear what type of data distribution self-attention can learn efficiently. Here, we show analytically that if one decouples the treatment of word positions and embeddings, a single layer of self-attention learns the conditionals of a generalized Potts model with interactions between sites and Potts colors. Moreover, we show that training this neural network is exactly equivalent to solving the inverse Potts problem by the so-called pseudo-likelihood method, well known in statistical physics. Using this mapping, we compute the generalization error of self-attention in a model scenario analytically using the replica method.

研究の動機と目的

• マスクされた言語モデル学習（MLM）の過程で自己注意が学習する統計的構造を理解すること。
• 1層の自己注意機構が効率的に学習できる条件付き確率分布の族を特定すること。
• 構造的データ分布を学習する際に、自己注意が良好に一般化するために必要なサンプルの複雑さを定量化すること。
• 自己注意と統計物理学モデル、特にPottsモデルとの正式な関係を確立すること。

提案手法

• 系列の語を、位置と語の種類の間の相互作用を持つ一般化Pottsモデルのスピンとしてモデル化する。
• 因子分解された自己注意を用い、注意重みは位置にのみ依存し、値は埋め込みにのみ依存するようにすることで、解析的取り扱いを可能にする。
• 自己注意機構を逆Potts問題にマッピングし、注意行列は相互作用結合に、値行列は色の類似度に相当する。
• ゼロ温度極限におけるガウス的事前分布と平方損失を用い、レプリカ法を適用して典型的な一般化誤差を計算する。
• 学習性能を特徴付ける順序パラメータ（q, r, l など）の鞍点方程式を導出する。
• 得られた自由エネルギー密度を用いて、自己注意モデルの一般化誤差を解析的に評価する。

実験結果

リサーチクエスチョン

• RQ1 1層の自己注意機構は、マスクされた言語モデル学習の下で、どのようなタイプのデータ分布を効率的に学習できるか？
• RQ2 自己注意の訓練は、Pottsモデルのような統計物理学モデルとどのように関係しているか？
• RQ3 自己注意は、構造的で高次元の分布を学習する際、一般化誤差はどの程度か？
• RQ4 自己注意の学習プロセスは、統計力学における既知の逆問題に正確にマッピング可能か？
• RQ5 自己注意が条件付き分布を学習する際に、良好な一般化を達成するためにはどの程度のサンプル数が必要か？

主な発見

• 要因分解された1層の自己注意は、大規模な訓練データセットの極限において、一般化Pottsモデルの条件付き分布を正確に学習する。
• マスクされた言語モデル学習による自己注意の訓練は、数学的に擬似尤度法を用いた逆Potts問題の解法に等しい。
• レプリカ法を用いることで、自己注意の一般化誤差を解析的に計算でき、ゼロ温度極限において閉形式の式を得る。
• 鞍点方程式の解法により、学習タスクにおけるラベルノイズが直接的に入力ノイズから生じること、独立に調整できないことが明らかになる。
• 導出された自由エネルギー密度は、ノイズ付きラベルと構造的データを伴う教師あり学習の形に一致するが、ノイズが入力のばらつきに内因的に関連している。
• 学習性能に段階的転移が見られ、順序パラメータ（q, r, l）が一般化と過学習のトレードオフを捉えている。