[論文レビュー] An Actor-Critic Algorithm for Structured Prediction

Dzmitry Bahdanau, Philémon Brakel+6 more|arXiv (Cornell University)|Jul 24, 2016

Multimodal Machine Learning Applications参考文献 27被引用数 3

ひとこと要約

この論文は、教師強制（teacher-forcing）による学習と自己回帰的生成（auto-regressive generation）による推論の間の分布シフトを低減するため、評価者（critic）を正解シーケンスに条件付けたアクター・クリティックフレームワークを提案する。これにより、BLEUなどのタスク固有の指標を直接最適化可能となり、機械翻訳や合成シーケンスタスクなどのシーケンス生成タスクで性能向上を達成する。価値ベースの報酬設計により、学習段階を推論段階と整合させる。

ABSTRACT

We present an approach to training neural networks to generate sequences using actor-critic methods from reinforcement learning (RL). Current log-likelihood training methods are limited by the discrepancy between their training and testing modes, as models must generate tokens conditioned on their previous guesses rather than the ground-truth tokens. We address this problem by introducing a extit{critic} network that is trained to predict the value of an output token, given the policy of an extit{actor} network. This results in a training procedure that is much closer to the test phase, and allows us to directly optimize for a task-specific score such as BLEU. Crucially, since we leverage these techniques in the supervised learning setting rather than the traditional RL setting, we condition the critic network on the ground-truth output. We show that our method leads to improved performance on both a synthetic task, and for German-English machine translation. Our analysis paves the way for such methods to be applied in natural language generation tasks, such as machine translation, caption generation, and dialogue modelling.

研究の動機と目的

• シーケンス生成における学習と推論の不一致、すなわちモデルが自己回帰的にトークンを生成する一方で、正解シーケンスによる教師あり学習で訓練されることを是正すること。
• シーケンスモデルにおける学習（教師強制）と推論（自己回帰的生成）の間の分布シフトを低減すること。
• 価値ベースの報酬を用いて、BLEUなどのタスク固有指標を直接最適化可能にすること。
• 正解出力を条件として評価者を設計することで、強化学習の手法を教師あり学習の文脈に適応すること。
• 機械翻訳、キャプション生成、対話モデリングなどのシーケンス生成タスクにおける性能向上を、より良い学習ダイナミクスによって達成すること。

提案手法

• 本手法は、現在のポリシー（アクター）と正解シーケンスに基づいて、各出力トークンの価値を推定する評価者ネットワークを導入する。
• 評価者は正解シーケンスを用いた教師あり学習により訓練され、学習中に正確な価値推定を提供可能となる。
• アクターは評価者の価値予測を組み込んだ方策勾配を用いて更新され、より効果的かつタスク固有の最適化が可能になる。
• 訓練プロセスでは、評価者の価値推定を用いて方策勾配を形状づけ、分散を低減し、テスト時の挙動と整合性を高める。
• フレームワークは教師あり設定で動作し、評価者を正解出力に条件づけることで、従来の強化学習におけるサンプル非効率性を回避する。
• 評価者を用いて密なタスク固有報酬を提供することで、シーケンスレベルの指標（例：BLEU）に対する直接的最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 アクター・クリティック手法は、シーケンス生成モデルにおける学習・推論の分布シフトを低減できるか？
• RQ2 正解シーケンスに条件づけた評価者ネットワークは、シーケンス生成における学習安定性と性能向上に寄与するか？
• RQ3 BLEUなどのタスク固有指標を訓練目的に組み込むことで、シーケンス生成タスクにおける一般化性能が向上するか？
• RQ4 最終的なモデル性能の観点から、標準的な対数尤度学習と比較して、本手法は優れているか？
• RQ5 本手法は、機械翻訳やキャプション生成といった実世界のNLPタスクに効果的に適用可能か？

主な発見

• 提案手法のアクター・クリティックフレームワークは、標準的な対数尤度学習に比べ、合成シーケンス生成タスクで優れた性能を達成した。
• ドイツ語-英語機械翻訳タスクでも、BLEUスコアが向上し、タスク固有指標への最適化が向上したことを示した。
• 正解シーケンスに条件づけた評価者により、学習と推論の間の分布シフトが効果的に低減された。
• 評価者ネットワークは、より良いシーケンスレベルの予測へとアクターを導く正確な価値推定を提供した。
• 自己回帰的報酬モデリングやサンプル集約型強化学習に依存せず、シーケンスレベル指標に対する直接的最適化が可能となった。
• 本手法は、機械翻訳、キャプション生成、対話モデリングを含む、さまざまなシーケンス生成タスクに一般化可能である。