[論文レビュー] Minimum Risk Training for Neural Machine Translation

Shiqi Shen, Yong Cheng+5 more|arXiv (Cornell University)|Dec 8, 2015

Natural Language Processing Techniques参考文献 24被引用数 43

ひとこと要約

この論文は、最大尤度推定の代わりに任意の微分不能な評価指標（例：BLEU）に基づいてモデルパラメータを直接最適化する、エンドツーエンドニューラル機械翻訳のための最小リスクトレーニング（MRT）を提案する。候補訳の分布上の期待損失を最小化することで、特に中国語-英語のような関係が遠い言語対において、MLEを著しく上回る性能を達成し、最大で2.1 BLEUポイントの向上を実現する。

ABSTRACT

We propose minimum risk training for end-to-end neural machine translation. Unlike conventional maximum likelihood estimation, minimum risk training is capable of optimizing model parameters directly with respect to arbitrary evaluation metrics, which are not necessarily differentiable. Experiments show that our approach achieves significant improvements over maximum likelihood estimation on a state-of-the-art neural machine translation system across various languages pairs. Transparent to architectures, our approach can be applied to more neural networks and potentially benefit more NLP tasks.

研究の動機と目的

• 最大尤度推定（MLE）の限界、すなわち単語レベルの尤度最適化にとどまることによる制限を是正する。
• BLEU や ROUGE、METEOR などの任意の微分不能な評価指標に基づいて、ニューラル機械翻訳モデルを直接最適化することを可能にする。
• 任意のエンドツーエンドNMTシステムに適用可能な、アーキテクチャに依存しないトレーニングフレームワークを開発する。
• 1-best仮説に依存するのではなく、候補訳の分布上の期待リスクを最小化することで翻訳品質を向上させる。

提案手法

• 各ソース文の候補訳の全探索空間における期待損失（リスク）を最小化する最小リスクトレーニングの目的関数を提案する。
• モンテカルロサンプリングを用いて、モデルの出力分布上の期待損失を近似し、効率的な勾配推定を可能にする。
• 非微分可能な指標に対応するため、温度パラメータ α を用いた滑らかな誤差カウントを適用し、損失関数を逆伝播可能にする。
• 評価指標が微分不能であっても、期待損失のモデルパラメータに関する勾配を計算するための再パrameterizationトリックを導入する。
• 多様な訳をサンプリングするソフトポリシーを採用し、期待リスクを計算することで、一般化性能の向上と人間の参照訳との整合性を高める。
• 特定のモデル構造やコンponentsを仮定しないため、あらゆるNMTアーキテクチャと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 最小リスクトレーニングは、単語レベルの尤度ではなく文レベルの評価指標（例：BLEU）を直接最適化することで、ニューラル機械翻訳の性能を向上させることができるか？
• RQ2 多様な言語対において、MRTはMLEに比べてBLEUスコアでどの程度の向上を示すか？
• RQ3 MRTは、関係が近い言語対（例：英語-フランス語）よりも、関係が遠い言語対（例：中国語-英語）でより大きな向上をもたらすか？
• RQ4 MRTは、アーキテクチャの変更なしに、さまざまなNMTアーキテクチャに効果的に適用可能か？
• RQ5 1サンプル法（例：REINFORCE）と比較して、リスク推定に複数の候補訳を用いることで性能が向上するか？

主な発見

• 中国語-英語翻訳において、MRTはMLE比で2.1 BLEUポイントの向上を達成し、関係が遠い言語対において顕著な向上を示した。
• 英語-フランス語翻訳では、MRTがMLE比で0.7ポイントのBLEU向上を示し、中国語-英語ほどではないが一貫した向上を確認した。
• 英語-ドイツ語翻訳では、先行研究よりも浅いネットワークを用いても、SOTAシステムと同等の性能を達成した。
• 中国語-英語での向上幅が大きいのは、1文あたり4つの参照訳が存在するため、指標に基づく最適化の効果が高まったからである。
• MRTは全評価言語対でMLEを上回り、評価指標を直接最適化することで翻訳品質が向上することを確認した。
• 本手法は有効かつ汎用的であり、ROUGE指標を用いたヘッドライン生成への応用でも成功し、顕著な向上を達成した。