[論文レビュー] Memformer: A Memory-Augmented Transformer for Sequence Modeling

Qingyang Wu, Zhenzhong Lan+4 more|arXiv (Cornell University)|Oct 14, 2020

Topic Modeling被引用数 7

ひとこと要約

Memformerは、固定サイズの外部動的メモリを備えたメモリ拡張型Transformerを導入し、長文系列のモデリングにおいて線形時間計算量と定数メモリ空間計算量を達成した。忘却機構を備えたメモリライターとリーダー、および新しいメモリリプレイ逆誤差伝搬（MRBP）最適化を用いることで、自己回帰的タスクにおいてTransformer-XLと同等の性能を達成しながら、メモリ使用量を8.1倍削減し、推論速度を3.2倍高速化した。

ABSTRACT

Transformers have reached remarkable success in sequence modeling. However, these models have efficiency issues as they need to store all the history token-level representations as memory. We present Memformer, an efficient neural network for sequence modeling, that utilizes an external dynamic memory to encode and retrieve past information. Our model achieves linear time complexity and constant memory space complexity when processing long sequences. We also propose a new optimization scheme, memory replay back-propagation (MRBP), which promotes long-range back-propagation through time with a significantly reduced memory requirement. Experimental results show that Memformer has achieved comparable performance compared to the baselines by using 8.1x less memory space and 3.2x faster on inference. Analysis of the attention pattern shows that our external memory slots can encode and retain important information through timesteps.

研究の動機と目的

• 標準Transformerの長文系列モデリングにおける2次計算量およびメモリ使用量の問題を解決すること。
• RNN や Transformer-XL といった再帰モデルの長距離依存関係の保持という限界を克服すること。
• 大規模なメモリ表現を用いた自己回帰モデルの効率的な学習と推論を可能にすること。
• 計算コストおよびメモリコストを低減しつつ、高い性能を維持するメモリ効率の良いアーキテクチャの開発

提案手法

• 過去のトークンの圧縮表現を格納する外部動的メモリモジュールを導入し、定数メモリ空間計算量を実現する。
• 現在の入力に基づいてメモリスロットを更新するメモリライターと、古くなった情報を保持するのを制御する忘却機構を採用する。
• デコード中にメモリスロットを注目するメモリリーダーを用い、関連する歴史的情報を取得可能にする。
• バックプロパゲーション・スパン中にメモリコストを低減する新しい最適化スキームであるメモリリプレイ逆誤差伝搬（MRBP）を提案する。
• メモリはエンコーダーでのみ更新され、デコーダーで参照される独立したエンコーダースタックとデコーダースタックを持つMemformerのアーキテクチャを設計する。
• 長距離依存関係を保持しつつメモリサイズを圧縮する機構を適用し、性能を損なわず効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定サイズの外部メモリは、性能をTransformerと同等に保ちつつ、長距離系列モデリングの効率を向上させることができるか？
• RQ2 メモリライターの注目メカニズムは、長距離依存関係の効果的な圧縮と保持をどのように可能にするか？
• RQ3 提案されたMRBPスキームは、大規模メモリを備えた再帰モデルにおける逆誤差伝搬時のメモリ消費をどの程度低減するか？
• RQ4 長文系列において、MemformerはTransformer-XL や Compressive Transformer よりも推論速度およびメモリ効率に優れているか？
• RQ5 異なるメモリサイズやメモリスロットタイプは、時間経過に伴う情報の保持・取得能力にどのように影響を与えるか？

主な発見

• Memformerは、1,024のメモリサイズを用いることで、Transformer-XLと同等の性能を達成したが、メモリ使用量は8.1倍少ない上に、推論速度は3.2倍速かった。
• 1,024のメモリサイズで、WikiText-103では20.53のパープレキシティを達成し、1,024のメモリを用いたTransformer-XL や同程度のFLOPsを有するCompressive Transformerを上回った。
• メモリサイズを512に減らした場合、さらにメモリモジュールを完全に削除した場合に、パープレキシティは25.57に急激に上昇した。
• メモリライターの注目メカニズムの分析から、約60–80%のメモリスロットが時間経過に伴い内容を維持しており、安定した長期記憶保持が確認された。
• タイプm^{355}のメモリスロットは入力トークンに対して高い注目度を示し、忘却バイアス（3.20）が大きく、動的または顕著な情報の迅速な更新が可能であることが示された。
• 可視化により、名前付きエンティティや動詞といった重要な要素の圧縮表現がメモリスロットに学習されていることが確認され、人間の記憶エンコーディングに類似した挙動を示した。