[論文レビュー] Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers

Vukasin Bozic, Danilo Dordevic+3 more|arXiv (Cornell University)|Nov 17, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、Transformerのアテンションメカニズムを知識蒸留を用いて訓練された浅い順方向ニューラルネットワークに置き換える手法を提案し、IWSLT2017翻訳タスクにおいて元のモデルと同等の性能を達成できることを示している。主な発見は、自己アテンションは効果的に模倣可能であるが、複雑な系列相互作用を示すため、クロスアテンションは依然として大きな課題であることである。

ABSTRACT

This work presents an analysis of the effectiveness of using standard shallow feed-forward networks to mimic the behavior of the attention mechanism in the original Transformer model, a state-of-the-art architecture for sequence-to-sequence tasks. We substitute key elements of the attention mechanism in the Transformer with simple feed-forward networks, trained using the original components via knowledge distillation. Our experiments, conducted on the IWSLT2017 dataset, reveal the capacity of these "attentionless Transformers" to rival the performance of the original architecture. Through rigorous ablation studies, and experimenting with various replacement network types and sizes, we offer insights that support the viability of our approach. This not only sheds light on the adaptability of shallow feed-forward networks in emulating attention mechanisms but also underscores their potential to streamline complex architectures for sequence-to-sequence tasks.

研究の動機と目的

• 浅い順方向ネットワークがTransformer内の自己およびクロスアテンションメカニズムの挙動を効果的に模倣できるかどうかを調査すること。
• パラメータ効率の高い順方向ネットワークへのアテンションモジュールの置き換えが、性能を損なわずに可能かどうかを評価すること。
• エンドツーエンドのトレーニングが不可能な原因となるアーキテクチャ的・訓練的制約を同定すること。
• ネットワークサイズと置き換え戦略が翻訳品質に与える影響をBLEUスコアを用いて評価すること。

提案手法

• 知識蒸留を用いて、元のTransformerのアテンション層の内部活性化を模倣する浅い順方向ネットワークを訓練する。
• 4つの異なる置き換え戦略を評価する：アテンション層置き換え（ALR）、リプルセント接続を含むアテンション層置き換え（ALRR）、別々のヘッドを持つアテンション層置き換え（ASLR）、エンコーダ層置き換え（ELR）。
• 同じ置き換えアプローチをデコーダの自己アテンションおよびクロスアテンションに拡張し、異なるアテンションタイプに適合するようにアーキテクチャを調整する。
• IWSLT2017データセット上で、XSからLまでの5つの異なるネットワークサイズについて実験を行い、主にBLEUスコアを評価指標として用いる。
• 元のTransformerを教師モデルとして用い、ソフトラベルおよび中間特徴を蒸留に提供する。
• E2G、G2E、E2F、F2Eの複数の言語翻訳タスクにおいてアブレーションスタディを実施し、モデルの頑健性と一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 浅い順方向ネットワークは、Transformer内の自己アテンションメカニズムの挙動を効果的に学習・再現できるか？
• RQ2 アテンションを順方向ネットワークに置き換えると翻訳性能が低下するのか。もしそうなら、どのような条件下で低下するのか？
• RQ3 なぜデコーダにおけるクロスアテンションは自己アテンションよりも置き換えが難しいのか？
• RQ4 知識蒸留によって、元のモデルと同等の性能を達成できるアテンションレスTransformerを訓練可能か？
• RQ5 ネットワークサイズと置き換え戦略がモデルの効率性と正確性に与える影響は何か？

主な発見

• ALR手法が性能とパラメータ効率のバランスが最も良く、最大サイズのモデル（L）ではE2Gで0.252 BLEUを達成し、元のTransformerの0.257に非常に近い。
• ALRによる自己アテンション置き換えは、全データセットで競争力ある結果を示し、LサイズモデルはG2E（0.327 vs. 0.324）およびE2F（0.276 vs. 0.276）でベースラインを上回った。
• クロスアテンションの置き換えは一貫して性能低下を引き起こし、最大サイズモデル（L）ではG2Eでたった0.134 BLEUにとどまり、ベースラインより著しく低い。
• エンコーダの自己アテンションに対するASLR手法は、ベースラインに近い性能（E2Gで0.252 BLEU）を達成しており、ヘッド単位での置き換えが有効であることを示している。
• すべてのアテンション機構（クロスアテンションを含む）を置き換えた場合、性能は最も悪く、LサイズモデルではE2GでBLEUスコアが0.105にまで低下した。
• ALRRおよびELR手法は、特に大きなモデルでは性能が低く、リプルセント接続と完全なレイヤー置き換えが訓練ダイナミクスを乱していることが示された。