[論文レビュー] Fastformer: Additive Attention is All You Need

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Aug 20, 2021

Topic Modeling参考文献 20被引用数 3

ひとこと要約

Fastformerは、加法的アテンションを用いてグローバルなコンテキストを効率的にモデル化する線形計算量の変種トランスフォーマーを提案する。標準の二次的自己アテンションを、グローバルコンテキスト符号化とトークン固有のコンテキスト相互作用の二段階プロセスに置き換えることで実現する。長文系列において、標準のトランスフォーマーと比較して顕著に高速な推論性能を達成し、最先端の性能を実現する。

ABSTRACT

Transformer is a powerful model for text understanding. However, it is inefficient due to its quadratic complexity to input sequence length. Although there are many methods on Transformer acceleration, they are still either inefficient on long sequences or not effective enough. In this paper, we propose Fastformer, which is an efficient Transformer model based on additive attention. In Fastformer, instead of modeling the pair-wise interactions between tokens, we first use additive attention mechanism to model global contexts, and then further transform each token representation based on its interaction with global context representations. In this way, Fastformer can achieve effective context modeling with linear complexity. Extensive experiments on five datasets show that Fastformer is much more efficient than many existing Transformer models and can meanwhile achieve comparable or even better long text modeling performance.

研究の動機と目的

• 標準のトランスフォーマーが長文系列モデリングにおいて二次的計算量を示す問題に対処すること。
• 長コンテキストタスクにおいて強力な性能を維持する効率的なアテンションメカニズムを開発すること。
• ペairワイズトークン相互作用をグローバルコンテキストモデリングのアプローチに置き換えることで、スケーラビリティを向上させること。

提案手法

• グローバルコンテキスト表現をモデル化するために、標準の自己アテンションを加法的アテンション機構に置き換える。
• まず、すべてのトークンを対象に加法的アテンションを用いてグローバルコンテキスト表現を計算する。
• 次に、各トークンの表現を、学習可能な変換を介してグローバルコンテキストに注目させることで更新する。
• 完全なペアワイズアテンション計算を回避することで、線形複雑性を達成する。
• 従来のトランスフォーマー・フレームワークと互換性を保ちながら、標準的な目的関数を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 加法的アテンションを用いることで、グローバルコンテキストを効率的にモデル化しつつ、シーケンスモデリング性能を維持できるか？
• RQ2 二次的自己アテンションを二段階の加法的プロセスに置き換えることで、長文シーケンスにおける性能が維持または向上するか？
• RQ3 得られるモデルが、標準のトランスフォーマーと比較して精度を損なわずに線形複雑性を達成できるか？

主な発見

• Fastformerは計算量において線形複雑性を達成し、標準のトランスフォーマーと比較して長文シーケンスにおける推論時間を顕著に短縮する。
• 5つのベンチマークデータセットにおいて、Fastformerは標準のトランスフォーマーと同等またはそれ以上の性能を長文モデリングタスクで達成する。
• 特に長文シーケンスにおいて優れた効率性を示し、精度を損なわず、性能を維持する。
• 加法的アテンション機構により、完全な自己アテンションの二次的コストを回避しながら、効果的なグローバルコンテキスト符号化が可能になる。