[論文レビュー] Memformer: The Memory-Augmented Transformer

Qingyang Wu, Zhenzhong Lan+2 more|arXiv (Cornell University)|May 4, 2021

Topic Modeling参考文献 15被引用数 12

ひとこと要約

Memformer は、統一されたメモリ機構と新規の最適化手法である Memory Replay Back-Propagation を用いることで、長期間のシーケンスモデリングにおいて O(n) 時間および O(1) 空間計算量を達成するメモリ拡張型 Transformer アーキテクチャを提案する。WikiText-103 において、従来の長距離モデルである Transformer-XL や Compressive Transformer を上回り、長期間のシーケンスにおいて優れたパフォーマンスとスケーラビリティを示している。

ABSTRACT

Transformer models have obtained remarkable accomplishments in various NLP tasks. However, these models have efficiency issues on long sequences, as the complexity of their self-attention module scales quadratically with the sequence length. To remedy the limitation, we present Memformer, a novel language model that utilizes a single unified memory to encode and retrieve past information. It includes a new optimization scheme, Memory Replay Back-Propagation, which promotes long-range back-propagation through time with a significantly reduced memory requirement. Memformer achieves O(n) time complexity and O(1) space complexity in processing long sequences, meaning that the model can handle an infinite length sequence during inference. Our model is also compatible with other self-supervised tasks to further improve the performance on language modeling. Experimental results show that Memformer outperforms the previous long-range sequence models on WikiText-103, including Transformer-XL and Compressive Transformer.

研究の動機と目的

• 長期間のシーケンスにおける自己注意機構の二次的計算量の問題を解決すること。
• 最小限のメモリ使用量で長期間にわたる誤差逆伝搬を効率的に行えるようにすること。
• 過去の情報を効果的にエンコードおよびリトリーブできる統一されたメモリ機構を設計すること。
• 任意の長さのシーケンスを処理するにあたり、O(n) 時間および O(1) 空間計算量を達成すること。
• 言語モデリングおよびその他の自己教師付きタスクにおけるパフォーマンスを向上させること。

提案手法

• 長期間のシーケンスにわたり文脈的情報を格納およびリトリーブできる単一の統一されたメモリモジュールを導入する。
• 誤差逆伝搬におけるメモリ要件を削減する新規の最適化手法である Memory Replay Back-Propagation を採用する。
• 入力トークンと格納されたメモリ状態の両方に注目するメモリ拡張型アテンション機構を用いる。
• 動的かつ学習可能なメモリ更新機構を導入し、長距離依存関係を効果的にエンコードする。
• メモリリプレイを用いて、長期間にわたる勾配の流れを保ったエンドツーエンド学習を可能にする。
• 言語モデリングのパフォーマンス向上を図るため、自己教師付き事前学習の目的関数と互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 統一されたメモリ機構は、長期間のシーケンスにおける自己注意機構の計算およびメモリのオーバーヘッドを低減できるか？
• RQ2 Memory Replay Back-Propagation は、最小限のメモリ使用量で、長期間にわたる安定的かつ効率的な学習を可能にするか？
• RQ3 Memformer は、線形時間および定数空間計算量を達成しながら、長期間のコンテキストタスクにおけるパフォーマンスを維持または向上させられるか？
• RQ4 標準的なベンチマークにおいて、Memformer は Transformer-XL や Compressive Transformer といった最先端の長期間コンテキストモデルと比べてどのように性能を発揮するか？
• RQ5 Memformer は、言語モデリングタスクにおける自己教師付き事前学習からどれほど恩恵を受けることができるか？

主な発見

• Memformer は、推論時において O(n) 時間計算量および O(1) 空間計算量を達成し、任意の長さのシーケンスを効率的に処理できる。
• WikiText-103 ベンチマークにおいて、Transformer-XL や Compressive Transformer を上回る言語モデリングパフォーマンスを示した。
• Memory Replay Back-Propagation により、従来の誤差逆伝搬と比較して顕著にメモリ使用量を削減しながら、長期間にわたる安定した学習が可能になった。
• 統一されたメモリ機構は、計算コストを増加させることなく、長距離依存関係を効果的に捉えることができた。
• Memformer は、他の自己教師付き事前学習タスクへ拡張しても、優れたパフォーマンスを維持した。
• 従来の長期間コンテキスト Transformer 変種と比較して、スケーラビリティおよび効率性の面で優位性を示した。