[論文レビュー] Not All Memories are Created Equal: Learning to Forget by Expiring

Sainbayar Sukhbaatar, Da Young Ju+5 more|arXiv (Cornell University)|May 13, 2021

Topic Modeling参考文献 47被引用数 5

ひとこと要約

本論文では、Transformerに微分可能な忘却メカニズムであるExpire-Spanを提案し、不要な記憶を学習的に消去することで、数万ステップにわたる時間ステップにおける効率的なアテンションを可能にする。動的に重要度の低いコンテンツを削除することで、文字レベル言語モデリングやフレームごとのオブジェクト追跡といった長期間タスクで最先端の性能を達成し、ベースラインと比較して3倍速く学習され、メモリ使用量も少ない。

ABSTRACT

Attention mechanisms have shown promising results in sequence modeling tasks that require long-term memory. Recent work investigated mechanisms to reduce the computational cost of preserving and storing memories. However, not all content in the past is equally important to remember. We propose Expire-Span, a method that learns to retain the most important information and expire the irrelevant information. This forgetting of memories enables Transformers to scale to attend over tens of thousands of previous timesteps efficiently, as not all states from previous timesteps are preserved. We demonstrate that Expire-Span can help models identify and retain critical information and show it can achieve strong performance on reinforcement learning tasks specifically designed to challenge this functionality. Next, we show that Expire-Span can scale to memories that are tens of thousands in size, setting a new state of the art on incredibly long context tasks such as character-level language modeling and a frame-by-frame moving objects task. Finally, we analyze the efficiency of Expire-Span compared to existing approaches and demonstrate that it trains faster and uses less memory.

研究の動機と目的

• すべての過去情報を保存するための非効率さとスケーラビリティの限界に起因する長期間Transformerの問題を解決すること。
• 人間の記憶が顕著な情報を優先する能力を模倣するように、モデルが不要な記憶を選択的に忘れる仕組みを提供すること。
• 固定された圧縮やアテンションスパンではなく、動的記憶の失効を学習することで、長期間タスクにおける性能を向上させること。
• 性能を損なわず、長期間シーケンスモデリングにおける計算およびメモリのオーバーヘッドを低減すること。

提案手法

• 各隠れ状態に対して、保持期間を出力する学習可能な失効予測子を自己注意に追加する。
• 各記憶はその失効期間が終了した後、失効される。このプロセスは、エンドツーエンドのバックプロパゲーションに対応して微分可能である。
• 失効処理は各層ごとに独立して行われるため、異なる層が異なる時間スケールの記憶保持に特化できる。
• 不要な情報を早期に破棄することで、数万ステップにわたる時間ステップにおける効率的なアテンションが可能になる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで学習され、失効メカニズムはアテンション計算に統合されている。
• 本手法はデコーダー専用のTransformerに適用可能であり、固定圧縮やスパースアテンションパターンを用いずに、スケーラブルな長期間モデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な忘却メカニズムは、長期間シーケンスモデリングタスクの性能向上に寄与するか？
• RQ2 固定スパンや圧縮記憶手法と比較して、動的記憶失効は学習効率およびメモリ使用量にどのように影響するか？
• RQ3 モデルは名前付きエンティティのような顕著な情報を保持する一方で、一般的または不要なコンテンツを忘れることができるか？
• RQ4 長期記憶容量が、長期間タスクのベンチマークにおける予測精度にどの程度影響を与えるか？
• RQ5 記憶を失効できる能力により、計算コストの爆発を伴わず、より長いコンテキスト長へのスケーリングが可能になるか？

主な発見

• Expire-Spanは、Enwik8の文字レベル言語モデリングベンチマークで、Compressive TransformerおよびAdaptive-Spanのベースラインを上回る最先端の性能を達成した。
• モデルは、Compressive TransformerおよびAdaptive-Spanと比較して、ほぼ3倍速く学習されたが、高い精度を維持した。
• 最大スパンが64kに達した場合、Expire-Spanは正常に学習され、GPUメモリオーバーフローを回避したが、Adaptive-Spanは32kで失敗した。
• モデルは「エジプト」や「ハムプティ・ダンプティ」のようなレアまたは顕著なエンティティを長期間にわたり保持するのに対し、「どこかの場所」のような一般的な語彙は素早く失効させた。
• 推論スパンを16kから1kに短縮した場合、3,584トークン前に登場した「ギニア海岸」のような長距離予測において、精度が著しく低下した。
• 分析の結果、セクションタイトルや改行といった構造的要素が長期間にわたり保持されていることが示され、各層における記憶使用の特化が確認された。