[論文レビュー] Transformers from an Optimization Perspective

Yongyi Yang, Zengfeng Huang+1 more|arXiv (Cornell University)|May 27, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、自己注意機構と前向き伝搬をエネルギー関数の最小化として解釈する新たな最適化に基づくTransformerアーキテクチャの解釈を提案する。このエネルギー関数の最小化は、各Transformer層の順方向伝搬をよく近似する。自己注意機構と前向き伝搬ネットワークを、このエネルギー関数上で交互に最小化するステップとして定式化することで、Transformerが展開された最適化プロセスとしての理論的基盤を確立し、注意メカニズムに関する新たな知見と、特化したモデル設計の可能性を提供する。

ABSTRACT

Deep learning models such as the Transformer are often constructed by heuristics and experience. To provide a complementary foundation, in this work we study the following problem: Is it possible to find an energy function underlying the Transformer model, such that descent steps along this energy correspond with the Transformer forward pass? By finding such a function, we can view Transformers as the unfolding of an interpretable optimization process across iterations. This unfolding perspective has been frequently adopted in the past to elucidate more straightforward deep models such as MLPs and CNNs; however, it has thus far remained elusive obtaining a similar equivalence for more complex models with self-attention mechanisms like the Transformer. To this end, we first outline several major obstacles before providing companion techniques to at least partially address them, demonstrating for the first time a close association between energy function minimization and deep layers with self-attention. This interpretation contributes to our intuition and understanding of Transformers, while potentially laying the ground-work for new model designs.

研究の動機と目的

• Transformer層と特定のエネルギー関数の最小化における反復処理との間の一対一対応を確立すること。
• 自己注意機構と前向き伝搬ネットワークを統合的に取り扱えるエネルギー関数の枠組みを構築すること。
• 特定の条件下で、Transformerの順方向伝搬が近似的にエネルギー最小化であるという理論的根拠を提供すること。
• エネルギー関数の構成要素の選択と注意挙動の関係を結びつけることで、新たなモデル設計の知見を提供すること。
• 実世界のTransformerモデルにおける各層を走破するエネルギー関数の単調減少を実証的に検証すること。

提案手法

• 非線形活性化関数 ρ(z) = -e^(-z) を用いて、自己注意機構を最小化問題としてモデル化するエネルギー関数を導出する。この関数はソフトマックス正規化に対応する。
• 自己注意機構と前向き伝搬モジュールを統合的に最適化可能な、新規の交互最小化スキームを導入する。これにより、モジュールの非一様性に対処する。
• エネルギー関数内の非線形活性化を扱うために、近接法（proximal methods）を適用し、滑らかでない項を含む勾配ベース最適化を可能にする。
• 標準的なフロベニウスノルム正則化を、退化した表現を回避するためのデータ適合項 ‖Y - X‖²_F に置き換える。これは実際の残差接続と整合する。
• IMDBおよびSST2データセットにおける12層のランダム初期化済みおよび学習済みTransformerで、各層におけるエネルギー曲線を実証的に評価する。
• エネルギー関数が層を走破する間に単調に減少することを示し、理論的収束性の主張を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 各Transformer層がエネルギー関数の最小化における1ステップに対応するような、一貫した統一エネルギー関数を構築できるか？
• RQ2 自己注意機構と前向き伝搬ネットワークを、解釈可能性を保ちつつ、単一のエネルギー関数内で同時にモデル化できるか？
• RQ3 非線形活性化関数や任意の重み行列がエネルギー最小化枠組みにおいて果たす役割は何か？ そして、それらはどのように処理できるか？
• RQ4 実世界のTransformerモデルにおける順方向伝搬中に、導出されたエネルギー関数はどの程度減少するか？
• RQ5 エネルギー関数における ρ 関数の代替選択肢は、解釈可能なインダクティブバイアスを持つ新たな注意メカニズムをもたらすか？

主な発見

• 導出されたエネルギー関数は、理論的条件下で、Transformer内の自己注意モジュールの挙動をよく再現しており、エネルギーが層を走破する間に減少する。
• 実証的結果から、IMDBおよびSST2データセットにおけるランダム初期化済みおよび学習済みの12層Transformerすべてで、エネルギー関数が単調に減少することが示された。
• エネルギー関数の最小化枠組みにより、ソフトマックス注意機構が ρ(z) = -e^(-z) の特定の選択から生じることを説明でき、注意機構を最適化として再解釈できるようになった。
• ρ(z) の代替選択肢（例：log(z+2)）により、トークン間のより相違する表現を重視する注意メカニズムが得られ、設計の柔軟性が示された。
• データ適合項 ‖Y - X‖²_F を通じて、残差接続をフレームワークが支持しており、退化した表現を防ぎ、標準的なTransformerの実装と整合する。
• 理論的収束結果は緩い技術的条件のもとで成り立ち、実証的証拠から実用的状況でもこれらの条件が満たされている可能性が高いと示唆された。