[論文レビュー] Coverage-based Neural Machine Translation.

Zhaopeng Tu, Zhengdong Lu+3 more|arXiv (Cornell University)|Jan 19, 2016

Natural Language Processing Techniques参考文献 4被引用数 54

ひとこと要約

本稿では、過去の注意配分を追跡するためのカバレッジベクトルを維持する、カバレッジベースのニューラル機械翻訳（NMT）モデルを提案する。このアプローチにより、未処理のソース語に注目を向けるようモデルを誘導することで、過剰翻訳および未翻訳を低減する。実験の結果、標準NMTと比較して、アライメント品質および翻訳性能の両面で顕著な向上が得られた。

ABSTRACT

However, attentional NMT ignores past alignment information, which leads to over-translation and under-translation problems. In response to this problem, we maintain a coverage vector to keep track of the attention history. The coverage vector is fed to the attention model to help adjust the future attention, which guides NMT to pay more attention to the untranslated source words. Experiments show that coverage-based NMT significantly improves both alignment and translation quality over NMT without coverage.

研究の動機と目的

• 注目ベースのニューラル機械翻訳における過剰翻訳および未翻訳問題に対処すること。
• 注目履歴情報を注目メカニズムに組み込むことで、アライメント精度を向上させること。
• 過去のアライメントパターンに基づく動的な注目調整を通じて、翻訳品質を向上させること。
• アーキテクチャの大幅な見直しを伴わずにNMTを効果的に向上させるシンプルなメカニズムを提供すること。

提案手法

• 時間経過とともに注目重みを蓄積するカバレッジベクトルを維持し、ソース語のアライメント履歴を表す。
• カバレッジベクトルを注目メカニズムの入力として用い、すでに注目されたソース語をペナルティ化する。
• 標準的なドット積注目とカバレッジベクトルを組み合わせることで、カバレッジに配慮した注目分布を計算する。
• 各デコードステップでカバレッジベクトルを更新し、新たに注目されたソース語を反映する。
• 再びカバー済みのソース語に注目しないよう注目メカニズムを変更し、より均等なカバレッジを促進する。

実験結果

リサーチクエスチョン

• RQ1 注目履歴を維持することで、ニューラル機械翻訳におけるアライメント精度が向上するか？
• RQ2 カバレッジを組み込むことで、NMTにおける過剰翻訳および未翻訳が低減するか？
• RQ3 標準NMTと比較して、カバレッジベースの注目は全体的な翻訳品質にどのように影響するか？
• RQ4 シンプルなカバレッジベクトルメカニズムは、シーケンス・トゥ・シーケンスモデルにおける注目ダイナミクスを顕著に改善できるか？

主な発見

• カバレッジベースのNMTモデルは、標準NMTと比較して顕著に優れたアライメント品質を達成した。
• カバレッジベクトルを用いて注目済みのソース語を効果的に追跡することで、過剰翻訳および未翻訳が低減した。
• 自動評価指標による測定で、翻訳品質が著しく向上した。
• 異なるデータセットおよびモデルアーキテクチャにおいて、一貫した性能向上が得られた。