[論文レビュー] Neural Machine Translation with Adequacy-Oriented Learning

Xiang Kong, Zhaopeng Tu+3 more|arXiv (Cornell University)|Nov 21, 2018

Natural Language Processing Techniques参考文献 29被引用数 7

ひとこと要約

本稿では、強化学習（RL）における確率的方策として翻訳をモデル化することで、神経機械翻訳（NMT）のための適切性指向学習フレームワークを提案する。報酬は、翻訳の適切性を測る新しい被覆差比（CDR）指標に基づく。この方法は、複数の言語対およびアーキテクチャにおいて、完全性とシーケンスレベルの適切性を直接最適化することで、標準的なMLEおよび既存のRL/敵対的ベースラインを大きく上回る翻訳品質を達成する。

ABSTRACT

Although Neural Machine Translation (NMT) models have advanced state-of-the-art performance in machine translation, they face problems like the inadequate translation. We attribute this to that the standard Maximum Likelihood Estimation (MLE) cannot judge the real translation quality due to its several limitations. In this work, we propose an adequacy-oriented learning mechanism for NMT by casting translation as a stochastic policy in Reinforcement Learning (RL), where the reward is estimated by explicitly measuring translation adequacy. Benefiting from the sequence-level training of RL strategy and a more accurate reward designed specifically for translation, our model outperforms multiple strong baselines, including (1) standard and coverage-augmented attention models with MLE-based training, and (2) advanced reinforcement and adversarial training strategies with rewards based on both word-level BLEU and character-level chrF3. Quantitative and qualitative analyses on different language pairs and NMT architectures demonstrate the effectiveness and universality of the proposed approach.

研究の動機と目的

• 翻訳の適切性が不足するNMTにおける問題、すなわち、出力で元の文の一部が省略されることを解決すること。
• 最大尤度推定（MLE）の限界、すなわち露出バイアス、単語レベルの損失、翻訳の適切性との相関性の低さを克服すること。
• 人間の翻訳品質評価とよりよく整合する、シーケンスレベルの適切性中心の学習目的を構築すること。
• 翻訳で十分に翻訳されていない元の単語の数を明示的に測定する、新たな指標である被覆差比（CDR）を設計すること。
• CDR指標を強化学習フレームワークに統合し、流暢さと完全性を同時に最適化するようにすること。

提案手法

• NMTを強化学習における確率的方策としてモデル化し、方策勾配法を用いてシーケンスレベルの学習を可能にする。
• CDR（被覆差比）に基づく新たな報酬信号を設計し、モデル出力と人間の翻訳との比較によって、適切に翻訳されていない元の単語の割合を定量化する。
• アテンションベースのアライメントを代理として用い、生成された翻訳にどのターゲット単語に対しても対応しない元の単語を特定することで、CDRを計算する。
• CDRに基づく報酬を用いて方策勾配最適化によりNMTモデルを訓練し、より完全な翻訳を学習できるようにする。
• CDRに基づく報酬と敵対的学習（識別器を介して）を組み合わせることで、訓練の安定性とパフォーマンスを向上させる。
• RNNベースおよびTransformerベースのNMTアーキテクチャの両方に対してこの手法を適用し、アーキテクチャ間での一般化を示す。

実験結果

リサーチクエスチョン

• RQ1 シーケンスレベルの適切性中心の報酬は、標準的なMLEおよび単語レベルの指標を上回る神経機械翻訳を実現できるか？
• RQ2 BLEU や chrF3 といった標準指標と比較して、被覆差比（CDR）指標は翻訳の適切性をどの程度正確に測定できるか？
• RQ3 CDRを強化学習フレームワークに統合することで、異なるNMTアーキテクチャおよび言語対において一貫した改善が得られるか？
• RQ4 CDRに基づく報酬は、識別器を用いた敵対的学習を上回り、不適切な翻訳を低減するのに有効か？
• RQ5 提案手法は、MLE学習に内在する露出バイアスおよび単語レベルの損失の限界をどの程度軽減できるか？

主な発見

• 提案された適切性指向学習手法は、中国語→英語およびドイツ語→英語の翻訳タスクにおいて、標準的なMLEベースのNMTモデルおよび被覆強化アテンションモデルを著しく上回る。
• CDRスコアは人間評価とピアソン相関係数0.64で相関しており、翻訳の適切性の代理指標としての有効性が裏付けられる。
• 長文（45語以上）では、CDRベースのモデルは一貫した改善を示すが、敵対的モデルのみではノイズの多い報酬のため性能が低下する。
• CDRと識別器の組み合わせ（すなわち、+D+O）が最高のパフォーマンスを示し、正確な報酬と安定した訓練の両方の利点が相乗的に働くことが示された。
• この手法はCDRスコアとBLEUスコアの両方を同時に向上させ、適切性を最適化しても流暢さが損なわれないことを示している。
• 事例研究では、従来のモデルが翻訳に失敗する文の後半部分など、以前に省略されていた元のセグメントを正しく翻訳していることが確認された。