[論文レビュー] Iterative Refinement for Machine Translation

Roman Novak, Michael Auli+1 more|arXiv (Cornell University)|Oct 20, 2016

Natural Language Processing Techniques参考文献 15被引用数 22

ひとこと要約

この論文では、元の翻訳を、ソースおよびターゲット系列の両方に注目する二重アテンションを備えた畳み込みニューラルネットワークを用いて、局所的な語の置換によって改善する反復的リファインメントフレームワークを提案する。この手法は、WMT15ドイツ語-英語翻訳でBLEUスコアを最大0.4向上させつつ、平均して1文あたり0.6語の変更しか行わず、後処理済み並列データを必要としない最小限の反復的編集によって翻訳品質を顕著に向上させられることを示している。

ABSTRACT

Existing machine translation decoding algorithms generate translations in a strictly monotonic fashion and never revisit previous decisions. As a result, earlier mistakes cannot be corrected at a later stage. In this paper, we present a translation scheme that starts from an initial guess and then makes iterative improvements that may revisit previous decisions. We parameterize our model as a convolutional neural network that predicts discrete substitutions to an existing translation based on an attention mechanism over both the source sentence as well as the current translation output. By making less than one modification per sentence, we improve the output of a phrase-based translation system by up to 0.4 BLEU on WMT15 German-English translation.

研究の動機と目的

• 翻訳における以前の誤った意思決定を再評価・是正できない既存のデコードアルゴリズムの制限に対処すること。
• 初期の推定翻訳を語の置換によって反復的に是正する手法を開発すること。
• 後処理済み並列データが限られている状況を考慮し、並列単語対とベースラインシステム出力のみを用いて学習することにより、その依存度を低減すること。
• 信頼度推定と置換ヒューリスティクスの有効性を、最小限の編集で翻訳品質を向上させる観点から評価すること。
• ソースと現在の翻訳の両方に注目する二重アテンションメカニズムが、翻訳のリファインメントにどのように寄与するかを調査すること。

提案手法

• モデルは、元の翻訳文の語の置換を予測するために、ソース文と現在の翻訳出力の両方に注目するアテンションを用いた畳み込みニューラルネットワークを用いる。
• 二重アテンションメカニズムにより、ソース語と現在の翻訳文のターゲット語の間のアライメントスコアを計算し、文脈に配慮した置換予測を可能にする。
• 置換は反復的に行われ、各ラウンドで信頼度ベースの選択戦略またはヒューリスティクスを用いて、前の翻訳を改善する。
• モデルは、語が参照翻訳に含まれるかどうかに基づく二値の監視情報を用いた交差エントロピー損失により、語レベルの正しさを予測するように学習する。
• 推論時、モデルは1語ごとに最良の置換を選択し、それがBLEUを向上させる場合にのみ適用する。この際、信頼度しきい値またはヒューリスティクスに基づく選択が用いられる。
• 本手法は、初期推定として仮想的な統語的翻訳システムの出力を用い、BLEUスコアの向上が得られなくなるまでリファインメントを適用することで評価される。

実験結果

リサーチクエスチョン

• RQ1 後処理済み並列データを必要とせずに、反復的語置換が翻訳品質を向上させられるか。
• RQ2 二重アテンションメカニズムは、初期翻訳の誤りを特定・是正するためにどの程度効果的か。
• RQ3 1文あたり1回未満の置換という最小限の編集で、BLEUスコアはどの程度向上できるか。
• RQ4 信頼度推定は、翻訳における反復的リファインメントの成功にどのように影響するか。
• RQ5 並列単語対とベースライン出力のみを用いて学習したモデルが、リファインメントによって顕著な向上を達成できるか。

主な発見

• 反復的リファインメント手法は、WMT15ドイツ語-英語翻訳で最大0.4のBLEU向上を達成し、最小限の編集で顕著な向上を示した。
• 平均して1文あたりわずか0.6語の置換がなされており、誤り是正の効率性が非常に高いことが示された。
• 信頼度ベースの選択戦略を用いた二重アテンションモデルは、参照翻訳にアクセスできるオラクルに匹敵する高い性能を達成した。
• 単純な信頼度ヒューリスティクスでさえ、より複雑な選択手法とほぼ同等の性能を示し、高信頼度の予測が効果的なリファインメントに十分であることを示唆した。
• 完全なオラクル（BLEUを向上させる場合にのみ置換を選択）は+1.7 BLEUの向上を達成し、適切な選択戦略により高品質な置換が可能であることを示した。
• 部分的オラクル（有害な置換を拒否可能）は+1.09 BLEUの向上を達成し、信頼度推定が劣化を避けるために極めて重要であることが示された。