[論文レビュー] Reward Augmented Maximum Likelihood for Neural Structured Prediction

Mohammad Norouzi, Samy Bengio+5 more|arXiv (Cornell University)|Sep 1, 2016

Topic Modeling参考文献 49被引用数 89

ひとこと要約

この論文は、タスク固有の報酬を最大尤度学習に組み込むことでニューラル構造予測を改善する手法である報酬増強最大尤度（RAML）を提案する。出力は、報酬の指数関数（例：正解との逆編集距離）に比例してサンプリングされ、それらの増強された出力における対数尤度が最適化される。音声認識（TIMIT）および機械翻訳（WMT’14）において、標準的な最大尤度学習よりも顕著な向上が得られ、BLEUスコアで最大+0.8、PERで-0.6の改善が達成された。

ABSTRACT

A key problem in structured output prediction is direct optimization of the task reward function that matters for test evaluation. This paper presents a simple and computationally efficient approach to incorporate task reward into a maximum likelihood framework. By establishing a link between the log-likelihood and expected reward objectives, we show that an optimal regularized expected reward is achieved when the conditional distribution of the outputs given the inputs is proportional to their exponentiated scaled rewards. Accordingly, we present a framework to smooth the predictive probability of the outputs using their corresponding rewards. We optimize the conditional log-probability of augmented outputs that are sampled proportionally to their exponentiated scaled rewards. Experiments on neural sequence to sequence models for speech recognition and machine translation show notable improvements over a maximum likelihood baseline by using reward augmented maximum likelihood (RAML), where the rewards are defined as the negative edit distance between the outputs and the ground truth labels.

研究の動機と目的

• 構造予測における最大尤度学習の限界、すなわち正解に近いかどうかに関係なくすべての誤り出力を同様に扱うという点を解決する。
• BLEU や語誤り率といった一般的な評価指標の非微分性およびスパarsity（スパarsity）を克服する。これらの指標は直接最適化が困難である。
• 高分散のポリシー勾配を必要とし、訓練中に複雑なサンプリングを要する強化学習ベースの手法の代替として、計算効率の高い手法を開発する。
• 最大尤度と期待報酬最適化のギャップを埋めるために、高い報酬出力を好む正則化された目的関数を導入する。
• 標準的な最大尤度学習の計算効率と実装の容易さを保ちながら、タスク固有の報酬を直接最適化できるようにする。

提案手法

• 各入力に対して、出力が exp(β × R(y|x)) 比例でサンプリングされる報酬増強目的関数を導入する。ここで R(y|x) は入力 x に対する出力 y の報酬、β は温度ハイパーパramータである。
• 真の出力ではなく、これらのサンプリングされた出力の条件付き対数尤度を最適化することで、モデルが高報酬出力に高い確率を割り当てるように正則化する。
• 理論的分析により、RAML が報酬の指数分布とモデルの予測分布との間のKLダイバージェンスを最小化することを示し、最適解は期待報酬とエントロピーのバランスを取ることになる。
• サンプリング分布の集中度を制御するための温度パラメータ τ（逆数の β）を用いる。τ が低いほど、高報酬出力に注目するようになる。
• RNN とアテンションを用いたシーケンス・ツー・シーケンスモデルにこの手法を適用し、報酬は生成出力と参照出力の間の負の編集距離（またはハミング距離）として定義する。
• 非同期更新を用いた標準的な確率的勾配降下法で訓練し、ベースラインとRAMLモデルの両方で同じアーキテクチャとハイパーパramータを維持する。

実験結果

リサーチクエスチョン

• RQ1 高分散のポリシー勾配更新を導入せずに、タスク固有の報酬を組み込むことで、構造予測における最大尤度学習を改善できるか？
• RQ2 BLEU や語誤り率といった微分不可能な指標を最適化する際、RAML の性能は標準的な最大尤度学習と比べてどうなるか？
• RQ3 最良の一般化を得るための報酬ベースの増強（すなわち温度 τ）の最適レベルは何か？
• RQ4 報酬に比例する分布からのサンプリングは、標準的な尤度学習と比較して、テスト時の評価指標との整合性を高めることができるか？
• RQ5 RAML は、最小限のアーキテクチャ変更で、機械翻訳および音声認識の両方のシーケンス・ツー・シーケンスモデルに効果的に適用できるか？

主な発見

• TIMIT 評価データセットでは、RAML は開発セットで最大 0.6 ポints、テストセットで 0.8 ポイントの電話誤り率（PER）を低下させ、最大尤度ベースラインを上回った。
• WMT’14 英語→フランス語機械翻訳ベンチマークでは、τ=0.85 のRAMLが平均 BLEU スコア 36.91、最高スコア 37.23 を達成し、ML ベースラインをそれぞれ 0.41 および 0.36 ポイント上回った。
• 最適な温度 τ は機械翻訳では 0.85、音声認識では 1.00 であった。これは報酬強調の度合いがタスクおよび報酬関数に依存することを示している。
• 増強が強すぎる場合（例：τ < 0.75）、性能が劣化した。これは、高報酬出力に過剰に注目しすぎると一般化性能が損なわれる可能性があることを示唆している。
• 複数のランダムシードおよび評価実行において、RAML の改善は一貫しており、頑健性と再現性があることが示された。
• 単純であるにもかかわらず、RAML は強力な最大尤度ベースラインを顕著に上回った。これは報酬に配慮した学習が、複雑な訓練手順を要せずともモデル性能を向上させられることを示している。