[論文レビュー] Memory-augmented Neural Machine Translation

Yang Feng, Shiyue Zhang+3 more|arXiv (Cornell University)|Aug 7, 2017

Natural Language Processing Techniques参考文献 23被引用数 18

ひとこと要約

この論文では、まれな語の翻訳を格納・取得できるメモリモジュールを統合することで、ニューラル機械翻訳（NMT）の性能を向上させるハイブリッドアーキテクチャ、Memory-augmented Neural Machine Translation（M-NMT）を提案する。この手法により、低頻度語および未知語（OOV）の翻訳性能が顕著に向上し、2つの中国語-英語翻訳タスクにおいて、ベースラインNMTよりそれぞれ+9.0および+2.7 BLEUポイントの向上を達成。OOV語の再現率についても顕著な向上が見られた。

ABSTRACT

Neural machine translation (NMT) has achieved notable success in recent times, however it is also widely recognized that this approach has limitations with handling infrequent words and word pairs. This paper presents a novel memory-augmented NMT (M-NMT) architecture, which stores knowledge about how words (usually infrequently encountered ones) should be translated in a memory and then utilizes them to assist the neural model. We use this memory mechanism to combine the knowledge learned from a conventional statistical machine translation system and the rules learned by an NMT system, and also propose a solution for out-of-vocabulary (OOV) words based on this framework. Our experiments on two Chinese-English translation tasks demonstrated that the M-NMT architecture outperformed the NMT baseline by $9.0$ and $2.7$ BLEU points on the two tasks, respectively. Additionally, we found this architecture resulted in a much more effective OOV treatment compared to competitive methods.

研究の動機と目的

• 頻度の高いパターンに過剰適合するため、ニューラル機械翻訳（NMT）がまれな語や語のペアを処理する能力に制限を受ける問題に対処すること。
• 統計的機械翻訳（SMT）の強み（まれなフレーズの記憶）とNMTの一般化能力を統合すること。
• 再トレーニングを必要とせず、効果的な未知語（OOV）処理が可能な柔軟で拡張可能なフレームワークを構築すること。
• しばしば「意味のずれ（meaning drift）」を引き起こすドメイン特化型または低頻度語の翻訳品質を向上させること。

提案手法

• M-NMTモデルは、特にまれな語やOOV語向けに、ソース-ターゲット語のペアを格納するメモリモジュールを統合している。
• 各メモリエントリには、ソース語、そのターゲット訳、および類似語や翻訳の近傍語（例：類義語）が含まれ、一般化を支援する。
• デコーディング中に、入力コンテキストに基づいて関連するエントリを取得するための微分可能アテンション機構を介してメモリにアクセスする。
• ニューラルモデルとメモリは同時に学習され、ネットワークがいつ、どのようにメモリを参照すべきかを学習できる。
• 翻訳マッピングを明示的にメモリに格納することで、インボキャリュラリー内（in-vocabulary）およびOOVターゲット訳の両方をサポートする。
• 比較のためのプレースホルダーベースライン（NMT-PL）が用いられ、OOV語はUNKトークンに置き換えられ、後処理で元に戻される。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張アーキテクチャは、まれな語および未知語（OOV）のNMT性能を向上させることができるか？
• RQ2 メモリによるシンボリック知識の統合は、標準NMTを上回る翻訳性能をどのように向上させるか？
• RQ3 メモリ機構は、低頻度語の翻訳における「意味のずれ（meaning drift）」を軽減するか？
• RQ4 既存の手法と比較して、メモリは未知語の再現率をどの程度向上させるか？
• RQ5 神経ネットワークの再トレーニングなしに、メモリを効果的に使用できるか？システムの拡張性を保てるか？

主な発見

• M-NMTモデルは、1つの中国語-英語翻訳タスクにおいて、NMTベースラインより+9.0 BLEUポイントの向上を達成した。
• 2番目の中国語-英語タスクでは、M-NMTモデルがNMTベースラインより+2.7ポイントのBLEUスコア向上を達成した。
• M-NMTシステムは、翻訳語がインボキャリュラリー内（T-INV）の語で28%、OOV訳を持つ語で40%のOOV再現率を達成し、競合手法を著しく上回った。
• メモリ機構は特に低頻度語に対して顕著に効果的であり、最も低い頻度帯においても再現率が著しく向上した。
• OOV語をメモリに含めたM-NMT+OOVバージョンは、NMT-PLベースラインや置換・復元手法と比較して、OOV処理において優れた性能を示した。
• 重要な例の人的評価では、M-NMTがまれな語「chromosomes」を正しく翻訳した一方、NMTベースラインは「意味のずれ」を起こした。