[論文レビュー] Can Active Memory Replace Attention?

Łukasz Kaiser, Samy Bengio|arXiv (Cornell University)|Oct 27, 2016

Multimodal Machine Learning Applications参考文献 18被引用数 16

ひとこと要約

本論文は、ニューラル機械翻訳において変換器型アテンションモデルと同等またはそれを上回る性能を達成し、文の長さに敏感さが低いことから、WMT'14 英語-ドイツ語翻訳で最先端の性能を達成する拡張されたアクティブメモリ機構、拡張ニューラルGPUを提案する。標準アテンションとは異なり、ソフトマックスによって1つのメモリ要素に注目するのではなく、各ステップで一様にすべてのメモリ要素を学習可能な変換により更新することで、長文や小規模データセットにおける一般化性能の向上を実現する。

ABSTRACT

Several mechanisms to focus attention of a neural network on selected parts of its input or memory have been used successfully in deep learning models in recent years. Attention has improved image classification, image captioning, speech recognition, generative models, and learning algorithmic tasks, but it had probably the largest impact on neural machine translation. Recently, similar improvements have been obtained using alternative mechanisms that do not focus on a single part of a memory but operate on all of it in parallel, in a uniform way. Such mechanism, which we call active memory, improved over attention in algorithmic tasks, image processing, and in generative modelling. So far, however, active memory has not improved over attention for most natural language processing tasks, in particular for machine translation. We analyze this shortcoming in this paper and propose an extended model of active memory that matches existing attention models on neural machine translation and generalizes better to longer sentences. We investigate this model and explain why previous active memory models did not succeed. Finally, we discuss when active memory brings most benefits and where attention can be a better choice.

研究の動機と目的

• 標準アテンション機構の限界、すなわち1つのメモリ要素に注目するが、複数のメモリ部分へのアクセスを必要とするタスクでは困難であるという点を解決すること。
• すべてのメモリ要素を各ステップで一様に更新するアクティブメモリ—これは、アテンションの代替として、機械翻訳のような実世界のNLPタスクで有効であるかを調査すること。
• 従来のアクティブメモリモデルが、系列対系列タスクにおけるアテンションを上回れなかった主な欠陥を同定すること。
• 再帰的依存関係を出力生成に組み込んだ強化されたアクティブメモリアーキテクチャ（拡張ニューラルGPU）を設計・評価し、大規模翻訳タスクでアテンションと同等の性能を達成すること。

提案手法

• 各デコードステップで、1つの要素に注目するのではなく、共通の学習可能な関数（例：畳み込み層や再帰層）を用いて、すべてのメモリ要素を一様に変換するアクティブメモリ機構を提案する。
• 出力分布に再帰的依存関係を組み込むことで、元のニューラルGPUを拡張した拡張ニューラルGPUモデルを導入し、系列構造のモデリングをより良くする。
• 長距離依存関係の学習を安定化させるために、訓練中に教師強制を採用し、高い性能を達成する上で重要な要因とする。
• 各ステップですべてのメモリ要素に共通の変換を適用することで、並列計算が可能となり、系列長に敏感さが低下する。
• 訓練時に長さ正規化とドロップアウトを適用し、ハイパーパramータの慎重なチューニングにより、アテンションベースのモデルと同等またはそれを上回る性能を達成する。
• WMT'14 や WSJ パーサー解析などの標準ベンチマークで、BLEUスコアとパープレキシティを用いて、制御された環境下で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来のアクティブメモリモデルは、ニューラル機械翻訳タスクでアテンション機構を上回れなかったのか？
• RQ2 アクティブメモリ機構は、特に系列対系列翻訳のような実世界のNLPタスクで、ソフトアテンションと同等の性能を達成できるか？
• RQ3 アクティブメモリが長文や小規模データセットに一般化するためには、どのようなアーキテクチャ的修正が必要か？
• RQ4 どのような状況でアクティブメモリはアテンションを上回り、逆にアテンションが優れている状況は何か？
• RQ5 出力分布に再帰的依存関係を組み込むと、モデルの性能と一般化能力にどのような影響を与えるか？

主な発見

• 拡張ニューラルGPUモデルは、WMT'14 英語-ドイツ語翻訳タスクで28.4のBLEUスコアを達成し、最先端のアテンションベースのモデルと同等の性能を示した。
• アクティブメモリモデルは、アテンションベースラインと比べて文の長さにはるかに敏感でないことが判明し、0–10から50+トークンまでの全長のバケットで安定した性能を維持した。
• 小規模なWSJ構文解析データセット（40K文）では、F1スコア85.1を達成し、純粋な系列対系列モデル（F1 < 70）を上回り、限られたデータでも強力な一般化性能を示した。
• アテンションモデルとは異なり、デコード時に長さ正規化を必要としないことが判明し、短い訓練例からより良い一般化が可能であると示唆された。
• テストセットにおけるパープレキシティは1.3であり、最高性能のアテンションモデルと同等であり、強力な言語モデリング能力を示した。
• 本研究では、出力分布に再帰的依存関係が高性能を達成するために不可欠であることが確認され、モデルアーキテクチャとは独立に実装可能であることが示され、適切に正則化された場合にアテンションと同等の性能を達成できることがわかった。