[論文レビュー] Neural Phrase-to-Phrase Machine Translation

Jiangtao Feng, Lingpeng Kong+6 more|arXiv (Cornell University)|Nov 6, 2018

Natural Language Processing Techniques参考文献 26被引用数 9

ひとこと要約

本稿では、語句レベルのアテンションメカニズムを用いて、元文と対象文の間で直接的な語句対語句アライメントを可能にする神経機械翻訳モデル、Neural Phrase-to-Phrase Machine Translation (NP²MT) を提案する。このアプローチにより、語彙外語（OOV）やドメインシフトの状況下でも翻訳のロバスト性が向上する。推論時に外部語彙辞書を統合することで、NP²MTは顕著な BLEU 値の向上を達成し、特に低リソースおよびドメインシフトの状況下で顕著な改善が見られ、ドメインシフト翻訳タスクにおいてベースラインのTransformerモデルを最大 +1.25 BLEU で上回る。

ABSTRACT

In this paper, we propose Neural Phrase-to-Phrase Machine Translation (NP$^2$MT). Our model uses a phrase attention mechanism to discover relevant input (source) segments that are used by a decoder to generate output (target) phrases. We also design an efficient dynamic programming algorithm to decode segments that allows the model to be trained faster than the existing neural phrase-based machine translation method by Huang et al. (2018). Furthermore, our method can naturally integrate with external phrase dictionaries during decoding. Empirical experiments show that our method achieves comparable performance with the state-of-the art methods on benchmark datasets. However, when the training and testing data are from different distributions or domains, our method performs better.

研究の動機と目的

• 標準的な神経機械翻訳が語彙外語（OOV）語やドメインシフトに対処する際の限界を是正すること。
• 語句構造からの言語的インダクティブバイアスをエンドツーエンドの神経翻訳モデルに組み込むこと。
• 単調なアライメント制約に依存せずに、外部語彙辞書を効率的に統合して推論を行うこと。
• 構造的な語句レベルモデリングを通じて、低リソースおよびドメインシフト状況下での翻訳のロバスト性を向上させること。

提案手法

• モデルは二重エンコーダアーキテクチャを採用：文レベルの双向LSTMと、長さLまでのすべての可能な元側セグメントを独立して符号化する語句レベルエンコーダ。
• 語句レベルのアテンションは、対象側の隠れ状態と、すべての元側語句表現との間で計算され、元語句と対象語句の直接的なアライメントを可能にする。
• 従来のモデルが要求する単調なアライメントに依存しない動的計画法に基づくデコーディングアルゴリズムを設計し、セグメントの効率的生成を実現。
• 外部語彙辞書は、語彙外語や語句を辞書一致翻訳に置き換えるための照合メカニズムを通じて推論時に統合される。
• セグメントデコーダは、語句レベルのコンテキストとアテンションベクトルに条件付けられた対象語句を生成するためのTransformerアーキテクチャを用いる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで学習され、推論ではビームサーチと辞書照合を併用することでOOV対処を向上させる。

実験結果

リサーチクエスチョン

• RQ1 語句レベルのアテンションは、語彙外語やドメインシフト状況下での神経機械翻訳性能を向上させ得るか？
• RQ2 推論時に外部語彙辞書を統合することで、低リソースまたはドメインシフト状況下での翻訳品質にどのような影響を与えるか？
• RQ3 語句対語句アテンションメカニズムは、従来の語句ベースNMTモデルと比較して、単調なアライメント仮定への依存を軽減し、学習効率を向上させるか？
• RQ4 語句レベルアテンションメカニズムは、オープン語彙翻訳タスクにおいて標準的なTransformerモデルを上回る性能を発揮できるか？

主な発見

• NP²MTは、WMT14 や IWSLT14 といった標準ベンチマークでも最先端モデルと同等の性能を達成する。
• オープン語彙シミュレーション環境下では、外部辞書を用いることで、Transformerモデルを +1.25 BLEU で上回る。
• ドメインシフト翻訳（IWSLT14の学習、WMT14のテスト）において、NP²MTは辞書統合により 16.11 BLEU を達成し、ベースラインのTransformerモデルより +1.25 の向上を示す。
• 語彙外語（OOV）に対して優れた性能を示し、WMT14テストセットにおいてドイツ語で12.8%、英語で6.7%のOOV率を示すが、この状況下で辞書の使用が顕著な改善をもたらす。
• 単調なアライメントモデルが要請する高コストな動的計画法ステップを回避するため、学習およびデコーディングが高速化される。
• NP²MTでは、標準NMTシステムと比較して、特にドメインシフトや低リソース状況下で、外部語彙辞書の統合がより効果的であることが示された。