[論文レビュー] Beyond BLEU: Training Neural Machine Translation with Semantic Similarity

John Wieting, Taylor Berg-Kirkpatrick+2 more|arXiv (Cornell University)|Sep 14, 2019

Natural Language Processing Techniques参考文献 42被引用数 6

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）モデルの学習に用いる連続的で意味的類似度に基づく報酬関数であるSimiLeを提案する。従来のBLEUに基づく最適化に代わるものであり、事前学習済みの文埋め込みを用いて生成翻訳と参照翻訳間の意味的類似度を測定することで、語彙的に異なるが意味的に正しい出力に対しても部分的な評価を可能にし、4つの言語対（チェコ語、ドイツ語、ロシア語、トルコ語）において、BLEU、意味的類似度、人的評価のすべてで収束が速く、性能が向上することを示した。

ABSTRACT

While most neural machine translation (NMT) systems are still trained using maximum likelihood estimation, recent work has demonstrated that optimizing systems to directly improve evaluation metrics such as BLEU can substantially improve final translation accuracy. However, training with BLEU has some limitations: it doesn't assign partial credit, it has a limited range of output values, and it can penalize semantically correct hypotheses if they differ lexically from the reference. In this paper, we introduce an alternative reward function for optimizing NMT systems that is based on recent work in semantic similarity. We evaluate on four disparate languages translated to English, and find that training with our proposed metric results in better translations as evaluated by BLEU, semantic similarity, and human evaluation, and also that the optimization procedure converges faster. Analysis suggests that this is because the proposed metric is more conducive to optimization, assigning partial credit and providing more diversity in scores than BLEU.

研究の動機と目的

• BLEUがNMTの学習目的として用いられる際の限界、特に部分的評価の欠如と語彙的変動への感受性を是正すること。
• n-gram精度に代わる連続的で意味的類似度に基づく指標が、より効果的で安定した学習信号を提供できるかどうかを検討すること。
• 自動評価指標に加え、人的評価においても意味的に正確な翻訳を促進することで、NMTの性能を向上させること。
• 意味的類似度を最適化することにより、ニューラル機械翻訳における収束が速くなり、一般化性能が向上することを示すこと。

提案手法

• 本手法は、並記データで事前学習された文埋め込みモデルを用い、生成翻訳と参照翻訳間の意味的類似度を計算する。
• 報酬関数であるSimiLeは、生成仮説の埋め込みと参照翻訳の埋め込み間のコサイン類似度として定義される。
• サブワード単位（例：BPEトークン）を用いて文埋め込みを構成することで、語彙レベルや文字トライグラムアプローチに比べて性能と効率が向上する。
• 過度に短い翻訳を避けるために長さペナルティを適用する。
• 最小リスクトレーニング（MRT）を用いてモデルをファインチューニングし、SimiLe報酬に基づいて勾配を逆伝播することで、より高い意味的類似度を達成するように最適化する。
• 本手法は、WMT 2018ベンチマークの4つの言語対（英語への翻訳）で評価された。

実験結果

リサーチクエスチョン

• RQ1 意味的類似度に基づく連続的指標（例：SimiLe）が、ニューラル機械翻訳における学習目的としてBLEUを上回ることができるか。
• RQ2 意味的類似度を最適化することで、自動評価指標および人的評価指標の両方で一般化性能が向上し、性能が向上するか。
• RQ3 最適化の安定性と収束速度という観点から、SimiLeはBLEUに比べてどのように異なるか。
• RQ4 意味的に正しいが語彙的に異なる翻訳に対して、SimiLeはBLEUに比べてどれほど罰則を軽減するか。
• RQ5 SimiLeで学習させることで、意味的に重要な語の翻訳がより正確になるか。

主な発見

• SimiLeを用いたNMTモデルの学習は、チェコ語、ドイツ語、ロシア語、トルコ語の4言語対すべてでBLEUスコアの顕著な向上をもたらし、標準評価指標との整合性が向上したことを示した。
• SimiLeで学習したモデルは、BLEUで学習したモデルに比べて高い意味的類似度スコアを達成しており、意味的コンテンツとの整合性が優れていることを示した。
• 人的評価では、1言語を除きすべての言語で統計的に有意な翻訳品質の向上が確認され、SimiLeがより自然で正確な翻訳をもたらすことを裏付けた。
• 意味的類似度指標が連続的かつ情報量が多く、勾配信号がより的確であるため、SimiLeを用いた最適化プロセスはBLEUよりも収束が速かった。
• 分析の結果、SimiLeはBLEUが語彙的一致を重視するのに対し、意味的に重要な語をより正確に保持するようモデルを促進することがわかった。