[論文レビュー] Inductive Biases and Variable Creation in Self-Attention Mechanisms

Benjamin Edelman, Surbhi Goel+2 more|arXiv (Cornell University)|Oct 19, 2021

Topic Modeling参考文献 45被引用数 15

ひとこと要約

この論文は、変換器における自己注意メカニズムが、スパース関数を学習する強いインダクティブバイアスを示していることを確立している。具体的には、文脈長 $T$ に関して、$s$-スパースなブール関数を、サンプル複雑度が対数的にスケーリングする形で表現可能である。主な理論的貢献は、被覆数を用いたノルムベースの一般化境界であり、これは、有界ノルムの注意ヘッドがスパースな相互作用に対して低サンプル複雑度を達成できることを示しており、過学習を伴わずに長距離依存関係をモデル化する成功の背後にある理由を説明している。

ABSTRACT

Self-attention, an architectural motif designed to model long-range interactions in sequential data, has driven numerous recent breakthroughs in natural language processing and beyond. This work provides a theoretical analysis of the inductive biases of self-attention modules. Our focus is to rigorously establish which functions and long-range dependencies self-attention blocks prefer to represent. Our main result shows that bounded-norm Transformer networks "create sparse variables": a single self-attention head can represent a sparse function of the input sequence, with sample complexity scaling only logarithmically with the context length. To support our analysis, we present synthetic experiments to probe the sample complexity of learning sparse Boolean functions with Transformers.

研究の動機と目的

• 変換器における自己注意メカニズムのインダクティブバイアスを形式的に分析すること。
• 自己注意がどの種の関数や長距離依存関係を好んで表現するかを特定すること。
• 注意モジュールを用いたスパース関数の学習におけるサンプル複雑度の理論的境界を確立すること。
• ノルムベースの一般化と自己注意ヘッドの表現能力を結びつけること。
• 合成実験を通じて理論を検証すること—特に、変動長のシーケンス上でランダムに選ばれた $s$-スパースなブール関数を学習する変換器の訓練を実施。

提案手法

• 自己注意メカニズムの容量バウンドを、$\ell_{\infty}$ 行列ノルムを用いて被覆数ベースに導出することで、ノルムベースの一般化バウンドを可能にする。
• 既存の線形関数クラスの被覆数バウンド（Zhang, 2002）への還元を適用し、注意ヘッドの容量を分析する。
• 有界ノルムの注意ヘッドが、重みノルムが $2^{O(s)}$ または対称ケースでは $\mathrm{poly}(s)$ の範囲で $s$-スパース関数を表現可能であることを証明する。
• 変動長のシーケンス上で、ランダムに選ばれた $s$-スパースなブール関数を識別するように変換器を訓練する合成実験を設計する。
• 固定および i.i.d. サンプリングプロトコルの両方を用いて、サンプル効率性と計算的挙動を調査する。
• 理論的バウンドと実証的検証を通じて、注意の統計的および表現的限界を分析する。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムは、特にスパarsityの観点から、どのような種類の関数を好んで表現するか？
• RQ2 自己注意モデルにおけるスパース関数の学習のサンプル複雑度は、文脈長 $T$ に対してどのようにスケーリングするか？
• RQ3 有界ノルムの自己注意ヘッドは、$s$-スパース関数を効率的に表現可能か？ その場合、必要なノルムスケーリングはどのようになるか？
• RQ4 被覆数と一般化バウンドで測定したとき、自己注意メカニズムの統計的容量はどの程度か？
• RQ5 理論的課題があるにもかかわらず、なぜ変換器はXOR（パリティ）関数のような最も難しい $s$-スパース関数を学習できるのか？

主な発見

• 自己注意ヘッドは、文脈長 $T$ に関してサンプル複雑度が $\log(T)$ のスケーリングを示す、スパース関数を学習するインダクティブバイアスを示している。
• 有界ノルムの注意ヘッドは、重みノルムが $2^{O(s)}$ または対称ケースでは $\mathrm{poly}(s)$ の範囲で $s$-スパース関数を表現可能である。
• 理論的分析により、自己注意メカニズムの被覆数ベースの一般化バウンドが $T$ に関して対数的にスケーリングすることが示され、低サンプル複雑度を支持する。
• 合成実験により、変換器が予測された $\log(T)$ スケーリングに一致するサンプル複雑度でスパースブール関数を学習することが確認された。
• 理論的課題があるにもかかわらず、変換器はXOR（パリティ）関数のような最も難しい $s$-スパース関数を効果的に学習でき、現在の統計的分析をはるかに超える計算的能力を示している。
• これらの結果は、自己注意モデルが長距離依存関係に対して過学習を伴わず一般化をうまく行える理由を形式的な統計的基盤で提供している。