[論文レビュー] A Study of Reinforcement Learning for Neural Machine Translation

Lijun Wu, Fei Tian+3 more|arXiv (Cornell University)|Aug 27, 2018

Natural Language Processing Techniques参考文献 30被引用数 19

ひとこと要約

本論文は、深層ネットワークと大規模な並列文書および単語文書データを用いて、強化学習（RL）を用いて最先端のニューラル機械翻訳（NMT）モデルを訓練する包括的な研究を提示している。RLを用いて、送信元および受信側の単語文書データを統合的に活用する新しい手法を導入し、WMT17中国語-英語翻訳タスクで26.73のBLEUスコアを達成し、強力なベースラインを約1.5 BLEUポイント上回った。

ABSTRACT

Recent studies have shown that reinforcement learning (RL) is an effective approach for improving the performance of neural machine translation (NMT) system. However, due to its instability, successfully RL training is challenging, especially in real-world systems where deep models and large datasets are leveraged. In this paper, taking several large-scale translation tasks as testbeds, we conduct a systematic study on how to train better NMT models using reinforcement learning. We provide a comprehensive comparison of several important factors (e.g., baseline reward, reward shaping) in RL training. Furthermore, to fill in the gap that it remains unclear whether RL is still beneficial when monolingual data is used, we propose a new method to leverage RL to further boost the performance of NMT systems trained with source/target monolingual data. By integrating all our findings, we obtain competitive results on WMT14 English- German, WMT17 English-Chinese, and WMT17 Chinese-English translation tasks, especially setting a state-of-the-art performance on WMT17 Chinese-English translation task.

研究の動機と目的

• 大規模で深層的なNMTモデルにRLを適用する際の不安定さと実用的課題に対処すること。
• 競争的なNMTアーキテクチャにおいて、報酬設計、ベースライン報酬、分散低減などの有効なRLトレーニング戦略を調査すること。
• これまでの文献で未解決であった、送信元および受信側の単語文書データをRLトレーニングに統合する方法を検討すること。
• 特にWMT17中国語-英語において、最先端のパフォーマンスを達成すること。

提案手法

• トレーニングの安定化を図るため、最大尤度推定（MLE）とRLの目的関数を適応的重み付けで統合する包括的なRLトレーニングフレームワークを提案する。
• 報酬計算にビームサーチの代わりに多項分布サンプリングを採用し、シーケンスレベル最適化を改善する。
• 送信元および受信側の両方の単語文書データをRLベースのNMTトレーニングに統合する新しい手法を導入し、モデルの汎化性能を向上させる。
• 標準的なRL技術（ベースライン報酬、報酬形状付け）を適用し、その影響を実証的に分析する。
• シーケンスレベルBLEUを報酬信号として用いる、アクター・クリティックおよびREINFORCEスタイルのポリシー最適化を採用する。
• ハイブリッドトレーニング戦略を採用：まず並列データでMLEで事前学習し、その後、並列データおよび単語文書データを用いてRLでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 報酬計算において、マルチノミアルサンプリングはRLベースのNMTトレーニングでビームサーチに比べてどのように優れているか？
• RQ2 ベースライン報酬と報酬形状付けは、深層NMTモデルにおけるRLトレーニングの安定性とパフォーマンスにどのような影響を与えるか？
• RQ3 送信元および受信側の単語文書データを、RLトレーニングに効果的に統合する方法は何か？翻訳品質の向上にどのように寄与するか？
• RQ4 大規模な単語文書データを含む強力なMLEベースのNMTシステムにおいても、RLは依然として性能向上をもたらすか？
• RQ5 エンドツーエンドトレーニングにおいて、MLEとRLの目的関数の最適なバランスは何か？ロバストなパフォーマンスを実現するには？

主な発見

• 報酬計算にマルチノミアルサンプリングを用いることで、ビームサーチに比べて顕著に優れた性能を発揮し、WMT17 Zh-Enで最高で0.5ポイントのBLEU向上を達成した。
• 適切な重み付けを用いたMLEとRLの目的関数の組み合わせにより、トレーニングが安定化し、全タスクで一貫したパフォーマンス向上が得られた。
• ベースライン報酬と報酬形状付け技術は、わずかな改善しかもたらさず、適切なサンプリング戦略とトレーニング戦略に比べて影響が小さいことが分かった。
• 送信元および受信側の両方の単語文書データをRLトレーニングに統合することで性能が向上：最終モデルはWMT17中国語-英語で26.73のBLEUを達成し、単語文書データのみを用いたMLEモデルに比べ0.6ポイントの向上を達成した。
• 最終モデルはWMT17中国語-英語で新たな最先端性能を樹立し、最良のアンサンブルシステムを1.5 BLEUポイント上回った。
• WMT14英語-ドイツ語およびWMT17英語-中国語でも、競争力のある結果を達成しており、広範な適用可能性が確認された。