[論文レビュー] Reward Optimization for Neural Machine Translation with Learned Metrics

Raphael Shu, Kang Min Yoo+1 more|arXiv (Cornell University)|Apr 15, 2021

Natural Language Processing Techniques参考文献 45被引用数 6

ひとこと要約

本稿では、最先端の学習済みメトリクスBLEURTを用いた神経機械翻訳（NMT）における報酬最適化のための対照的マージン損失を提案する。これにより、大規模モデルでも高速かつ安定した学習が可能になる。結果として、BLEURTを用いた学習は、BLEURTスコアで10%以上の相対的改善を達成し、人的評価による適切さとカバレッジの向上をもたらす。一方、平滑化されたBLEUを用いた学習は限定的な向上をもたらし、しばしばBLEUスコアを低下させることがある。

ABSTRACT

Neural machine translation (NMT) models are conventionally trained with token-level negative log-likelihood (NLL), which does not guarantee that the generated translations will be optimized for a selected sequence-level evaluation metric. Multiple approaches are proposed to train NMT with BLEU as the reward, in order to directly improve the metric. However, it was reported that the gain in BLEU does not translate to real quality improvement, limiting the application in industry. Recently, it became clear to the community that BLEU has a low correlation with human judgment when dealing with state-of-the-art models. This leads to the emerging of model-based evaluation metrics. These new metrics are shown to have a much higher human correlation. In this paper, we investigate whether it is beneficial to optimize NMT models with the state-of-the-art model-based metric, BLEURT. We propose a contrastive-margin loss for fast and stable reward optimization suitable for large NMT models. In experiments, we perform automatic and human evaluations to compare models trained with smoothed BLEU and BLEURT to the baseline models. Results show that the reward optimization with BLEURT is able to increase the metric scores by a large margin, in contrast to limited gain when training with smoothed BLEU. The human evaluation shows that models trained with BLEURT improve adequacy and coverage of translations. Code is available via https://github.com/naver-ai/MetricMT.

研究の動機と目的

• BLEURTという学習済みメトリクスを用いてNMTモデルを最適化することで、BLEUを上回る意味のある翻訳品質の向上が得られるかどうかを調査すること。
• 大規模NMTおよびメトリクスモデルにおける従来の報酬最適化の不安定さと高いメモリ消費量という問題に取り組むこと。
• BLEURTを用いた報酬最適化が、ベースラインモデルおよびBLEU最適化モデルと比較して、人的評価による適切さ、文法的自然さ、カバレッジの向上をもたらすかどうかを評価すること。
• BLEUとBLEURTの翻訳順序ランク付けにおける乖離を分析し、その背後にある要因を理解すること。

提案手法

• 最良および最悪のシーケンスのみをスコア化することで、メモリ使用量を削減し、安定した学習を可能にする対照的マージン損失を提案する。
• 上位と下位の翻訳を区別するペairワイズランクイング目的関数を採用し、リスクベース損失のように全N個の候補をスコア化する必要を回避する。
• BLEURTを報酬信号として使用し、人的判断と高い相関性を示すため、強化学習を用いてNMTモデルをファインチューニングする。
• NMTモデルと一体でエンドツーエンドに訓練可能な対照的マージン損失を、WMTメトリクス共有タスクから得た合成データおよび人的アノテーションスコアを用いて学習する。
• 自動評価にはBLEURTと平滑化されたBLEUを、4つの言語対について人的なペアワイズ評価（適切さ、自然さ、カバレッジ）を実施する。

実験結果

リサーチクエスチョン

• RQ1 BLEURTを用いたNMTモデルの最適化は、平滑化されたBLEUを用いた学習と比較して、自動評価および人的評価指標において測定可能な向上をもたらすか？
• RQ2 対照的マージン損失は、大規模NMTおよびメトリクスモデルにおける安定的かつ効率的な報酬最適化を可能にするか？
• RQ3 BLEURT最適化翻訳は、ベースラインおよびBLEU最適化モデルと比較して、どの程度適切さとカバレッジが向上するか？
• RQ4 BLEURTが翻訳スコアにおいてBLEUと顕著に乖離する理由は何か。その背後にある言語的要因は何か？

主な発見

• BLEURTを用いた報酬最適化により、全4言語対でBLEURTスコアが10%以上の相対的向上を示し、明確なメトリクス改善が確認された。
• 一方、平滑化されたBLEUを用いた学習は、BLEUスコアの向上が限定的であり、現代のNMTモデルに対してBLEUが劣った学習信号であるという先行研究の結果と一致した。
• 人的評価では、BLEURT最適化モデルが翻訳の適切さとカバレッジを顕著に向上させ、De-En、Ru-En、Ja-Enの各言語対で高い多数票率を示した。
• 定性的分析から、40件のサンプルのうち25件は、高スコアのBLEURTと低スコアのBLEUの両方を示しており、意味的整合性、語順、カバレッジの面で優れていることが判明し、意味的な品質向上が裏付けられた。
• 本研究では、珍しい語の影響により、BLEURTが予期しないほど高いまたは低いスコアを付与するリスクを特定した。例として、翻訳品質はほとんど同一でも、軽微な語彙的変更がスコアを劇的に変化させる事例が観察された。