[論文レビュー] Neural Machine Translation with Key-Value Memory-Augmented Attention

Fandong Meng, Zhaopeng Tu+5 more|arXiv (Cornell University)|Jun 29, 2018

Natural Language Processing Techniques参考文献 21被引用数 9

ひとこと要約

本稿では、神経機械翻訳(NMT)向けに、注意履歴を追跡する動的に更新されるキーメモリと、ソース表現を保存する固定された値メモリを備えたキーバリューメモリアugmented注意機構KVMemAttを提案する。2つのメモリ間の反復的・マルチラウンドの相互作用を可能にすることで、翻訳の適切さが向上し、語の繰り返しと省略が軽減され、中国語-英語およびドイツ語-英語翻訳タスクで最先端の性能を達成する。

ABSTRACT

Although attention-based Neural Machine Translation (NMT) has achieved remarkable progress in recent years, it still suffers from issues of repeating and dropping translations. To alleviate these issues, we propose a novel key-value memory-augmented attention model for NMT, called KVMEMATT. Specifically, we maintain a timely updated keymemory to keep track of attention history and a fixed value-memory to store the representation of source sentence throughout the whole translation process. Via nontrivial transformations and iterative interactions between the two memories, the decoder focuses on more appropriate source word(s) for predicting the next target word at each decoding step, therefore can improve the adequacy of translations. Experimental results on Chinese=>English and WMT17 German<=>English translation tasks demonstrate the superiority of the proposed model.

研究の動機と目的

• 注意ベースのNMTモデルにおける翻訳の繰り返しと省略という長年の問題に取り組む。
• 注意履歴を効果的に追跡できない従来の注意機構の限界を克服する。
• 注意履歴の追跡とソース表現の保存を分離することで、訓練の容易化と性能向上を図る。
• さまざまなNMTモデルに適用可能な汎用的でアーキテクチャに依存しないメモリアugmented注意フレームワークを設計する。
• 提案手法の有効性と一般化能力を、複数の言語対およびベンチマークタスクで示す。

提案手法

• デコーダーの隠れ状態の更新チェーンに同期して、注意に基づく書き込み操作（例：忘却と追加）により動的に更新されるキーメモリを導入する。
• デコーディング中を通して、元のソース文の符号化表現を保存する固定された値メモリを維持する。
• 層間で複数ラウンドのメモリ操作を実行し、デコーダーが中間の注意結果を再評価し、文脈選択を精緻化できるようにする。
• 非自明な変換を介して、各層内および層間でキーメモリと値メモリの複雑な相互作用を可能にする。
• 追加のアノテーションを必要とせず、弱教師ありの注意指向の目的関数を適用することで、さらに注意の質を向上させる。
• KVMemAttモジュールを標準のRNNベースのNMTアーキテクチャに統合し、既存モデルとの互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 注意履歴の追跡とソース表現の保存を分離することで、NMTにおける翻訳の適切さが向上するか？
• RQ2 キーメモリと値メモリ間の反復的・マルチラウンドのメモリアクセスは、より良い文脈選択と語の繰り返し削減に寄与するか？
• RQ3 KVMemAttモデルは、低リソースおよび高リソースの翻訳タスクにおいて、標準の注意機構およびNTM-augmented注意モデルと比較してどのように性能を発揮するか？
• RQ4 提案されたキーバリューメモリメカニズムは、中国語-英語やドイツ語-英語のような異なる言語対に一般化可能か？
• RQ5 弱教師ありの注意指向目的関数は、注意の質と翻訳性能をどの程度向上させるか？

主な発見

• 中国語-英語翻訳タスクにおいて、KVMemAttはRNNSearchベースラインと比較して、ソース語の未翻訳率を13.1％から9.7％に、過剰翻訳率を2.7％から1.3％に削減した。
• 単層のKVMemAttモデルは、翻訳品質と注意性能の両面で、標準の注意モデルおよびNTM-augmented注意モデルを上回った。
• 多層のKVMemAttバージョンは、すべての評価指標で一貫して性能を向上させた。
• WMT17ドイツ語-英語翻訳タスクにおいて、KVMemAttはDe→EnおよびEn→Deの両方向で、標準およびメモリアugmented注意ベースラインを上回るBLEUスコアを達成した。
• モデルは強く一般化可能であり、合成データを用いた学習を行わずとも、多様な言語対で良好な性能を発揮し、適切さと注意の正確性の両面で強力なベースラインを上回った。
• アブレーションスタディにより、キーバリューデリソース分離とマルチラウンドメモリアクセスがモデル成功の鍵であることが確認された。これらの要素を削除すると、性能が著しく低下した。