[論文レビュー] Addressing Some Limitations of Transformers with Feedback Memory

Angela Fan, Thibaut Lavril+3 more|arXiv (Cornell University)|Feb 21, 2020

Topic Modeling参考文献 46被引用数 31

ひとこと要約

本論文は Feedback Transformer を提案し、共有フィードバックメモリを介して過去の表現を将来の計算にアクセス可能にする。これにより浅いモデルが言語モデリング、翻訳、強化学習で Transformer に匹敵または上回ることを可能にし、デコーディングを高速化しメモリ使用量を削減する。

ABSTRACT

Transformers have been successfully applied to sequential, auto-regressive tasks despite being feedforward networks. Unlike recurrent neural networks, Transformers use attention to capture temporal relations while processing input tokens in parallel. While this parallelization makes them computationally efficient, it restricts the model from fully exploiting the sequential nature of the input. The representation at a given layer can only access representations from lower layers, rather than the higher level representations already available. In this work, we propose the Feedback Transformer architecture that exposes all previous representations to all future representations, meaning the lowest representation of the current timestep is formed from the highest-level abstract representation of the past. We demonstrate on a variety of benchmarks in language modeling, machine translation, and reinforcement learning that the increased representation capacity can create small, shallow models with much stronger performance than comparable Transformers.

研究の動機と目的

• 自己回帰系列モデリングにおける標準の Transformer の課題と限界を動機づけ、対処する。
• 過去の高レベル表現を再利用して現在のステップを計算する、メモリベースの Feedback Transformer の導入。
• 浅い構造の Feedback Transformer が、デコーディングを高速化しメモリ使用を削減しつつ高い性能を達成することを示す。
• 言語モデリング、機械翻訳、強化学習のベンチマークで評価する。
• 再帰型アーキテクチャや他の Transformer 変種と比較して、フィードバックメモリの利点を確立する。）
• method([

提案手法

• 時刻 t で全レイヤーの表現を集約するメモリベクトル m_t を、学習可能な重み w^l と Softmax 正規化を用いたレイヤー加重和で計算する： m_t = sum_l Softmax(w^l) x_t^l。
• 自己注意の入力を、下位レイヤー出力だけではなくメモリ m_t を参照するよう置き換える： z_t^l = Attn(x_t^l, {m_{t-τ}, ..., m_{t-1}})。
• 全レイヤーでキーと値の射影を共有し、k_t^l = k_t = W_k m_t および v_t^l = v_t = W_v m_t としてメモリと計算を削減する。
• 全レイヤーの過去表現を時刻ごとに単一のフィードバックメモリに統合し、w^l 以外のパラメータ数を増やすことなく再帰計算を可能にする。
• 生成時には逐次計算を維持しつつ、学習時にはメモリ共有によるハードウェアに優しい並列性の利点を享受する。
• 浅いデコーダと大きなエンコーダを用いた翻訳で小型の Feedback Transformer が強い性能を達成し、メモリと速度特性の改善を示す。）

実験結果

リサーチクエスチョン

• RQ1 Feedback Memory を介して過去の全表現を将来の計算に公開することは、標準の Transformer と比較して自己回帰モデリングを改善するか？
• RQ2 Feedback Transformer は、より小さく浅いネットワークで効果的な再帰計算と長期状態追跡を可能にするか？
• RQ3 言語モデリング、翻訳、強化学習タスクにおいて、Feedback Transformer は再帰モデルや他の Transformer バリアントとどう比較されるか？
• RQ4 Feedback Transformer で共有キー・値射影を適用した場合のメモリと速度のトレードオフは何か？
• RQ5 実際の設定では、フィードバック機構がデコード速度とトレーニング効率にどう影響するか？

主な発見

• Feedback Transformers は、翻訳と言語タスクにおいて標準 Transformer と比較して浅い構造でも性能を維持・向上させる。
• キー/値の射影を共有することでメモリ使用量を削減し、トレーニングと推論を高速化し、特に浅いデコーダでデコードを速くする。
• 長文脈タスクと RL では、フィードバックモデルは限定メモリで性能を維持し、標準 Transformer よりも状態追跡が優れていることを示す。
• このアーキテクチャは、WMT En-De や WikiText-103 のような標準ベンチマークで、パラメータ数を抑えつつ再帰モデルや特定の Transformer ハイブリッドを上回る。
• フィードバックメモリは再帰計算を可能にし、時間ステップごとに表現を繰り返し洗練させつつモデルの深さを増やさずに済む。）