[論文レビュー] Lexicons and Minimum Risk Training for Neural Machine Translation: NAIST-CMU at WAT2016

Graham Neubig|arXiv (Cornell University)|Oct 20, 2016

Natural Language Processing Techniques参考文献 17被引用数 8

ひとこと要約

本論文は、確率推定の向上とBLEUスコア最適化のための最小リスク学習を組み合わせた、日本語-英語翻訳のための強化されたニューラル機械翻訳システムを提示する。これらの技術の組み合わせに加え、モデルアンサンブルを適用した結果、自動評価および人的評価の両方で、強力なベースラインおよび他の競合システムを上回る最先端の結果が得られ、WAT 2016ベンチマークでSOTAを達成した。

ABSTRACT

This year, the Nara Institute of Science and Technology (NAIST)/Carnegie Mellon University (CMU) submission to the Japanese-English translation track of the 2016 Workshop on Asian Translation was based on attentional neural machine translation (NMT) models. In addition to the standard NMT model, we make a number of improvements, most notably the use of discrete translation lexicons to improve probability estimates, and the use of minimum risk training to optimize the MT system for BLEU score. As a result, our system achieved the highest translation evaluation scores for the task.

研究の動機と目的

• 日本語-英語翻訳におけるニューラル機械翻訳の性能を、確率推定の向上と学習最適化の両面から向上させること。
• 離散的翻訳語彙辞書がNMTモデルの信頼性および出力品質に与える影響を調査すること。
• 最大尤度学習ではなくBLEUスコアを最適化する最小リスク学習の有効性を評価すること。
• 語のペナルティとモデルアンサンブルが翻訳品質をさらに向上させるかどうかを特定すること。

提案手法

• 双方向LSTMを用いたアテンション機構を備えたエンコーダ-デコーダアーキテクチャに基づく注意型ニューラル機械翻訳モデルを採用する。
• 学習可能なパラメータεを用いて、離散的翻訳語彙辞書を確率推定の精度向上に統合する。
• BLEUスコアのモンテカルロ近似を用いて最小リスク学習を適用し、開発セット上の期待BLEUを最大化するようにモデルパラメータを最適化する。
• サブワード分割に統合されたバイトペア符号化（BPE）を採用し、デコード段階で語のペナルティを適用して出力長を制御する。
• テスト時において、複数モデルの予測語確率を平均化することでアンサンブルを実現し、モデルの頑健性と性能を向上させる。
• システムはASPEC並列コーパスの上位200万文を学習データとして用い、両言語に正規化およびトークン化処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 離散的翻訳語彙辞書を統合することで、ニューラル機械翻訳モデルの精度と信頼性が向上するか？
• RQ2 BLEUスコアを最適化する最小リスク学習は、最大尤度学習に比べて翻訳品質を向上させるか？
• RQ3 ドット積アテンションとMLPアテンションの異なるアテンション機構が、日本語-英語翻訳の文脈で翻訳性能に与える影響は何か？
• RQ4 語のペナルティとモデルアンサンブルは、BLEUスコアおよびRIBESスコアの向上にどの程度寄与するか？

主な発見

• ε = 10⁻⁵ または 10⁻⁶ で語彙辞書を使用した場合、ベースライン比で最大0.9ポイントのBLEUスコア向上が得られ、最小リスク学習下で最高25.9のBLEUが達成された。
• 最小リスク学習は最大尤度学習に比べて1.0〜1.5ポイントのBLEUスコア向上をもたらし、最良のシステムでは29.3 BLEUおよび77.3 RIBESを達成した。
• マルチレイヤーパーセプトロン（MLP）アテンション機構はドット積アテンションを上回り、すべての設定で高いBLEUおよびRIBESスコアを達成した。
• 語のペナルティは翻訳長の制御を著しく改善し、長さ比を1.01から0.97に低下させ、平均でBLEUを1.8ポイント向上させた。
• 6つのモデルをアンサンブル化することで、BLEUスコアは27.3（ML）および29.3（MR）にまで上昇し、個々のモデルに比べて顕著な性能向上が確認された。
• 最小リスク学習を施したアンサンブルモデルは、48.25の人的評価スコアを達成し、タスク全体で最高水準を示し、人間による評価でも優れた品質を示した。