[論文レビュー] A Coverage Embedding Model for Neural Machine Translation.

Haitao Mi, Baskaran Sankaran+2 more|arXiv (Cornell University)|May 10, 2016

Natural Language Processing Techniques参考文献 18被引用数 23

ひとこと要約

本稿では、翻訳の繰り返しと省略を低減するために、ゲート付き再帰ユニット（GRU）を用いて動的にカバレッジベクトルを更新するカバレッジ埋め込みモデルを提案する。この手法により、エンドツーエンドでカバレッジ埋め込みを学習することで、大規模な中国語-英語翻訳タスクにおいて翻訳品質が向上し、強力なベースラインシステムを上回る。

ABSTRACT

In this paper, we enhance the attention-based neural machine translation by adding an explicit coverage embedding model to alleviate issues of repeating and dropping translations in NMT. For each source word, our model starts with a full coverage embedding vector, and then keeps updating it with a gated recurrent unit as the translation goes. All the initialized coverage embeddings and updating matrix are learned in the training procedure. Experiments on the large-scale Chineseto-English task show that our enhanced model improves the translation quality significantly on various test sets over the strong large vocabulary NMT system.

研究の動機と目的

• アテンションベースのニューラル機械翻訳における翻訳の繰り返しと省略の問題に対処すること。
• トレーニング中にカバレッジ埋め込みを学習することで、ソース語のカバレッジをより明示的にモデル化すること。
• 大規模なニューラル機械翻訳タスクにおける翻訳品質を向上させること。
• デコード中に進化する微分可能で学習可能なカバレッジメカニズムを統合すること。

提案手法

• 各ソース語は、時間経過とともに更新される完全なカバレッジ埋め込みベクトルで初期化される。
• 翻訳が進行するにつれて、ゲート付き再帰ユニット（GRU）を用いてカバレッジ埋め込みを繰り返し更新する。
• 初期カバレッジ埋め込みとGRU更新行列の両方が、トレーニング中に共同で学習される。
• カバレッジ情報をアテンションメカニズムに統合し、アライメントをガイドして冗長性を低減する。
• 各ソース語ごとにカバレッジ埋め込みが更新され、アテンション分布の調整に使用される。

実験結果

リサーチクエスチョン

• RQ1 明示的なカバレッジモデリングは、NMTにおける翻訳の繰り返しと省略を低減できるか？
• RQ2 学習可能で再帰的なカバレッジメカニズムは、固定またはヒューリスティックなカバレッジと比較してどのように異なるか？
• RQ3 カバレッジ埋め込みの統合は、大規模翻訳タスクでのパフォーマンス向上に寄与するか？
• RQ4 GRUベースの更新メカニズムは、デコード中にカバレッジ追跡をどの程度向上させるか？

主な発見

• 提案手法は、大規模な中国語-英語翻訳タスクにおける複数のテストセットで翻訳品質を顕著に向上させた。
• 大規模語彙を備えた強力なベースラインNMTシステムを上回った。
• カバレッジ埋め込みメカニズムは、繰り返しと省略の両方を効果的に低減した。
• カバレッジ埋め込みと更新行列のエンドツーエンド学習により、より良いアライメントと一般化が実現した。