[論文レビュー] Memory Transformer

Mikhail Burtsev, Yuri Kuratov+2 more|arXiv (Cornell University)|Jun 20, 2020

Analog and Mixed-Signal Circuit Design被引用数 6

ひとこと要約

この論文では、グローバルおよびローカル表現を格納するための学習可能な [mem] テンキーを導入することで、序列モデリングを向上させるメモリ拡張型のトランスフォーマーである MemTransformer を提案する。モデルは機械翻訳および言語モデリングタスクで性能向上を示し、注意力の可視化により効果的なメモリの読み書きおよびブロック単位の処理が確認された。また、メモリサイズはモデルの正確性と正の相関関係にある。

ABSTRACT

Transformer-based models have achieved state-of-the-art results in many natural language processing tasks. The self-attention architecture allows transformer to combine information from all elements of a sequence into context-aware representations. However, information about the context is stored mostly in the same element-wise representations. This might limit the processing of properties related to the sequence as a whole more difficult. Adding trainable memory to selectively store local as well as global representations of a sequence is a promising direction to improve the Transformer model. Memory-augmented neural networks (MANNs) extend traditional neural architectures with general-purpose memory for representations. MANNs have demonstrated the capability to learn simple algorithms like Copy or Reverse and can be successfully trained via backpropagation on diverse tasks from question answering to language modeling outperforming RNNs and LSTMs of comparable complexity. In this work, we propose and study few extensions of the Transformer baseline (1) by adding memory tokens to store non-local representations, (2) creating memory bottleneck for the global information, (3) controlling memory update with dedicated layer. We evaluate these memory augmented Transformers and demonstrate that presence of memory positively correlates with the model performance for machine translation and language modelling tasks. Augmentation of pre-trained masked language model with memory tokens shows mixed results for tasks from GLUE benchmark. Visualization of attention patterns over the memory suggest that it improves the model's ability to process a global context.

研究の動機と目的

• 標準的なトランスフォーマーが、トークン表現における文脈の分散保存のため、グローバルなシーケンス情報にアクセスする能力に制限を受けることへの対処。
• 学習可能で汎用的なメモリを追加することで、機械翻訳や言語モデリングなどの序列モデリングタスクの性能が向上するかの調査。
• メモリ拡張アーキテクチャが、コピー、要約、ブロック単位の処理などの複雑なメモリ操作をどのようにサポートできるかの探求。
• 推論時にメモリサイズを変化させた場合のメモリコントローラーのロバストネスと一般化性能の評価。
• 事前学習モデル（例：BERT や Transformer-XL）へのメモリ拡張の転送可能性を、下流の GLUE タスクで評価。

提案手法

• 入力シーケンスの先頭に [mem] テンキーを導入し、グローバルおよびローカル表現のための汎用的なメモリストアとして機能させる。
• 3つのバリエーションを提案：MemTransformer（基本的なメモリ拡張）、MemCtrl（専用のトランスフォーマーレイヤーでメモリ更新を制御）、MemBottleneck（シーケンス間の注意はなし、メモリ同士の注意のみ）。
• バックプロパゲーションによる学習を実施し、標準的な目的関数を用いることで、メモリへの書き込み、読み込み、およびメモリ内処理のエンドツーエンド学習を可能にする。
• 自己注意機構を用いて、入力トークンと [mem] テンキー間の注意（読み書き）および [mem] テンキー同士の注意（メモリ内処理）を可能にする。
• 注意パターンの可視化を用いてメモリの挙動を分析し、対角注意（増幅）、ブロックコピー、垂直注意（読み込み）などの操作を特定。
• 事前学習モデル（例：BERT、Transformer-XL）にメモリ拡張を適用し、GLUEベンチマークタスクで微調整する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な [mem] テンキーの追加が、機械翻訳および言語モデリングタスクにおける標準的トランスフォーマーの性能を向上させるか？
• RQ2 MemTransformerにおける注意パターンは、書き込み、読み込み、コピー、要約などの学習されたメモリ操作の証拠を示しているか？
• RQ3 メモリサイズが推論時のモデル性能およびロバストネスに与える影響は何か。特に、メモリサイズを変更した場合に顕著か？
• RQ4 メモリ拡張が、BERT や Transformer-XL などの事前学習モデルの下流の GLUE タスクにおける性能を向上させるか？
• RQ5 メモリコントローラーは異なるメモリサイズに一般化可能か。推論時にメモリが短縮された場合、性能が徐々に低下するか？

主な発見

• [mem] テンキーのトランスフォーマーアーキテクチャへの追加により、機械翻訳および言語モデリングタスクで一貫した性能向上が得られた。
• モデル性能はメモリサイズと正の相関関係にあり、より大きなメモリ容量が表現学習を強化していることが示された。
• 注意パターンの可視化により、メモリの読み書き操作およびブロックコピー、対角増幅といったメモリ内処理が確認された。
• メモリ欠損テストの結果、事前学習済み MemTransformer モデルの性能はメモリの存在に強く依存しており、その機能的意義が裏付けられた。
• メモリコントローラーはロバストであることが示され、推論時にメモリサイズを短縮しても性能が徐々に低下する傾向にあり、一般化能力があることが示唆された。
• 拡張後の継続的訓練を経て微調整することで、メモリ拡張モデルの性能が向上した。これは、メモリ拡張が継続的学習と組み合わせて効果的であることを示している。