[論文レビュー] Normalized Attention Without Probability Cage

Oliver Richter, Roger Wattenhofer|arXiv (Cornell University)|May 19, 2020

Topic Modeling参考文献 37被引用数 10

ひとこと要約

本論文は、確率単体制約を排除し、L2正規化を用いてsoftmaxに依存しない注意メカニズムである正規化注意（NAP）を提案する。これにより、softmax注意の凸包制限を回避し、ハイパーパrameterやデータバイアスに対してより頑健なモデルを実現。25,000回の実験を経て、長文脈および高語彙設定において、Transformer、最大プーリング、合計プーリングを凌駕する最先端の性能を達成。

ABSTRACT

Attention architectures are widely used; they recently gained renewed popularity with Transformers yielding a streak of state of the art results. Yet, the geometrical implications of softmax-attention remain largely unexplored. In this work we highlight the limitations of constraining attention weights to the probability simplex and the resulting convex hull of value vectors. We show that Transformers are sequence length dependent biased towards token isolation at initialization and contrast Transformers to simple max- and sum-pooling - two strong baselines rarely reported. We propose to replace the softmax in self-attention with normalization, yielding a hyperparameter and data-bias robust, generally applicable architecture. We support our insights with empirical results from more than 25,000 trained models. All results and implementations are made available.

研究の動機と目的

• softmaxによる確率単体への注意重みの制約がもたらす理論的・実用的限界を調査すること。
• 特にモデル表現力と初期化バイアスに与える影響を踏まえ、注意が確率分布を表すべきであるという仮定を再考すること。
• softmax注意の凸包制限を回避する汎用的で頑健な注意メカニズムを提案すること。
• さまざまなタスクおよびハイパーパrameter設定において、NAPをTransformer、最大プーリング、合計プーリング、その他の注意変種と実験的に比較すること。
• 確率単体制約を排除することで、特に長文脈および高語彙設定においてモデルの一般化性能が向上することを示すこと。

提案手法

• 自己注意のsoftmax演算をL2正規化に置き換え、注意重みを確率単体ではなく単位球面上に射影すること。
• 注意メカニズムを正規化された重み付き和として定義：o_i^m = Σ_j (a_i,j^m / ||a_i^m||_2) · v_j^m、ここで a_i,j^m = <q_i^m, k_j^m> / √d_h。
• 注意のログイットに学習可能なバイアス項bを導入し、正規化が効果を発揮しない場合に合計プーリングに類似した残差挙動を可能にすること。
• 標準的なバックプロパゲーションを用いてモデルを学習し、ケース区別、モード探索、序列分類の複数のタスクで性能を評価すること。
• さまざまなシーケンス長、モデル深さ、学習率、語彙サイズを想定した、25,000体を超える大規模なアブレーションスタディを実施すること。
• RGBヒートマップを用いてハイパーパramータ空間全体でのモデル性能を可視化し、頑健性と一般化性能を強調すること。

実験結果

リサーチクエスチョン

• RQ1 確率単体への注意重みの制約が、自己注意メカニズムの表現力にどのように制限をもたらすか？
• RQ2 特にトークンの分離と凸包制約の観点から、softmax注意が初期化段階で導入するバイアスとは何か？
• RQ3 正規化に基づく注意メカニズムは、softmax注意および従来のプーリング手法（合計/最大）を上回る頑健性と精度を達成できるか？
• RQ4 長文脈や大規模語彙といった分布シフト下で、提案された正規化注意メカニズムはどのように性能を発揮するか？
• RQ5 新しい注意メカニズムは、学習率やモデル深さといったハイパーパramータへの感受性をどの程度低減するか？

主な発見

• 128のシーケンス長でケース区別タスクにおいて、NAPは平均検証精度93.8%を達成し、BERT（71.5%）やMTE（57.7%）を大きく上回った。
• 語彙サイズ256のモード探索タスクにおいて、NAPは平均検証精度84.6%を達成し、BERT（74.4%）、MTE（64.9%）、最大プーリング（3.1%）を上回った。
• NAPはハイパーパramータ選択に対して優れた頑健性を示した。特に長文脈設定において、幅広い学習率やモデル次元で高い性能を維持した。
• 最大プーリングはケース区別タスクでは高い精度（90.9%）を示したが、語彙が大きくなるとモード探索タスクで失敗し、分布シフト下での一般化が悪いことが示された。
• 合計プーリングはケース区別タスクで29.1%の精度にとどまり、注意を用いない場合の複雑な依存関係のモデル化における限界を浮き彫りにした。
• モード探索タスクにおいて、NAPは長文脈（N=256）でも一般化がうまくいった。検証精度は64.3%を記録した一方、最大プーリングは2.1%にまで低下した。