[論文レビュー] Text Repair Model for Neural Machine Translation.

Markus Freitag, Isaac Caswell+1 more|arXiv (Cornell University)|Apr 9, 2019

Natural Language Processing Techniques参考文献 11被引用数 9

ひとこと要約

この論文では、神経機械翻訳（NMT）の後処理として翻訳的表現（translationese）を是正し、より自然な文体に改善するテキスト修復モデルを提案する。単語対訳データを経由して英語を経由して逆翻訳することで、NMTの誤りを模倣した単語対訳データを用いて学習されたモデルは、英語＝ドイツ語および英語＝ルーマニア語のタスクにおいて、BLEUスコアを最大2.5ポイント向上させ、WMT上位システムの出力結果に対しても同様の効果を示した。

ABSTRACT

In this work, we train a text repair model as a post-processor for Neural Machine Translation (NMT). The goal of the repair model is to correct typical errors introduced by the translation process, and convert the translationese output into natural text. The repair model is trained on monolingual data that has been round-trip translated through English, to mimic errors that are similar to the ones introduced by NMT. Having a trained repair model, we apply it to the output of existing NMT systems. We run experiments for both the WMT18 English to German and the WMT16 English to Romanian task. Furthermore, we apply the repair model on the output of the top submissions of the most recent WMT evaluation campaigns. We see quality improvements on all tasks of up to 2.5 BLEU points.

研究の動機と目的

• 神経機械翻訳（NMT）における不自然で不自然な翻訳的表現（translationese）の出力を是正すること。
• NMTが引き起こす典型的な誤りを是正する後処理モデルを開発し、より自然な表現のテキストを生成すること。
• NMTの誤りを模倣するために、単語対訳データを英語を経由して逆方向に翻訳することで人工的に汚染されたデータを用いて、修復モデルを学習すること。
• 標準NMTシステムおよびWMT上位の提出物に対し、修復モデルを評価すること。

提案手法

• 修復モデルは、元の単語対訳文を英語に翻訳した後、再び元の言語に逆翻訳することで人工的に汚染された単語対訳文を学習データとして用いる。
• この逆方向翻訳プロセスにより、実際のNMT出力に見られる誤りに類似した誤りを含む合成学習データが生成される。
• 修復モデルは、汚染され誤りを含むバージョンから元の自然な単語対訳文を予測するように、系列対系列モデルとして学習される。
• このモデルはNMT出力に後処理として適用され、モデルの元の翻訳を自然な修正済みバージョンに置き換える。
• このアプローチは並列データを用いた後処理の必要性を回避し、単語対訳データのみに依存する。
• この方法は、低リソース（WMT16 英語＝ルーマニア語）および高リソース（WMT18 英語＝ドイツ語）の翻訳タスクの両方で評価されている。

実験結果

リサーチクエスチョン

• RQ1 逆方向翻訳された単語対訳データで学習されたテキスト修復モデルは、NMT出力の翻訳的表現を効果的に是正できるか？
• RQ2 このような修復モデルを標準NMTシステムに適用することで、翻訳品質にどの程度の向上が得られるか？
• RQ3 この修復モデルは、上位のWMT提出物を含む高性能なNMTシステムにも一般化可能か？
• RQ4 この改善効果は、英語＝ルーマニア語のような低リソース言語対に対しても一貫して得られるか？

主な発見

• 修復モデルは、WMT18 英語＝ドイツ語翻訳タスクにおいて翻訳品質を最大2.5 BLEUポイント向上させた。
• モデルはWMT16 英語＝ルーマニア語タスクにおいても一貫した向上を示し、低リソース環境でも有効であることを示した。
• 修復モデルは、最近のWMT評価キャンペーンにおける上位のNMTシステムの出力も向上させた。
• モデルの性能向上は、翻訳的表現に特徴的な不自然な表現や構造的誤りを是正できる能力に起因する。
• 逆方向翻訳された単語対訳データの使用は、並列データを必要とせずにNMT誤りを効果的に模倣でき、効果的な学習を可能にする。
• この方法は後処理として有効であり、主要なNMTモデルを再学習せずに自然さを著しく向上させられることを示している。