[論文レビュー] Linear Transformers Are Secretly Fast Weight Memory Systems

Imanol Schlag, Kazuki Irie+1 more|arXiv (Cornell University)|Feb 22, 2021

Topic Modeling参考文献 44被引用数 14

ひとこと要約

本論文は、1990年代のファストウェイトメモリシステムと線形化自己注意機構との間の形式的同等性を確立し、現在の線形注意機構のバリアントに記憶容量の制限があることを明らかにした。本研究では、動的記憶操作を可能にする新たな更新ルールとカーネル関数を提案し、リtrieval、翻訳、言語モデリングのタスクで優れた性能を示した。

ABSTRACT

We show the formal equivalence of linearised self-attention mechanisms and fast weight memories from the early '90s. From this observation we infer a memory capacity limitation of recent linearised softmax attention variants. With finite memory, a desirable behaviour of fast weight memory models is to manipulate the contents of memory and dynamically interact with it. Inspired by previous work on fast weights, we propose to replace the update rule with an alternative rule yielding such behaviour. We also propose a new kernel function to linearise attention, balancing simplicity and effectiveness. We conduct experiments on synthetic retrieval problems as well as standard machine translation and language modelling tasks which demonstrate the benefits of our methods.

研究の動機と目的

• 既存の線形化ソフトマックス注意機構における記憶容量の制限を特定し、それに対処すること。
• 1990年代初頭の線形化自己注意機構とファストウェイトメモリシステムとの間の形式的同等性を確立すること。
• 標準的な更新ルールをより表現力のある代替手段に置き換えることで、動的記憶操作を可能にすること。
• シンプルさと効果性のバランスを取る新しいカーネル関数を設計すること。
• 提案手法を合成リtrievalタスクと標準的なNLPベンチマークで検証すること。

提案手法

• ファストウェイトメモリメカニズムにインspiredされた、記憶内容の動的操作を可能にする線形注意の新たな更新ルールを提案した。
• 注意機構の線形化を改善するための新しいカーネル関数を導入した。
• 線形化自己注意機構とファストウェイトメモリの正式な同等性を活用し、動的制御が可能な記憶システムとして注意機構を再定式化した。
• モデルが内部記憶状態を能動的に変更・相互作用できるように、修正された重み更新メカニズムを採用した。
• 機械翻訳や言語モデリングを含む系列モデリングタスクに、標準ベンチマークを用いて、見直されたメカニズムを適用した。

実験結果

リサーチクエスチョン

• RQ1 線形化自己注意機構と1990年代初頭のファストウェイトメモリシステムとの間に、形式的な数学的同等性があるか？
• RQ2 現在の線形化ソフトマックス注意機構のバリアントは、記憶容量と動的特性の点でどのような制限を抱えているか？
• RQ3 修正された更新ルールは、注意機構におけるより効果的で動的な記憶操作を可能にするか？
• RQ4 提案されたカーネル関数は、既存の手法と比較して、シンプルさと効果性のバランスをどのように改善しているか？
• RQ5 改善された記憶ダイナミクスは、標準的なNLPベンチマークで測定可能な性能向上をもたらすか？

主な発見

• 線形化自己注意機構は、1990年代初頭のファストウェイトメモリシステムと正式に同等である。
• 既存の線形化ソフトマックス注意機構のバリアントは、固定された更新ルールのため、根本的な記憶容量の制限を抱えている。
• 提案された更新ルールにより、推論中に記憶内容を操作可能な動的記憶相互作用が可能になった。
• 新しいカーネル関数は、計算効率を維持したまま、注意機構の線形化を改善した。
• 合成リtrievalタスクにおける実験では、モデルが関連想起のような複雑な記憶操作を学習できることを示した。
• 標準的な機械翻訳および言語モデリングタスクでは、ベースラインと比較して同等または優れた性能を達成した。