[論文レビュー] Cold-Start Reinforcement Learning with Softmax Policy Gradient

Nan Ding, Radu Soricut|arXiv (Cornell University)|Sep 27, 2017

Multimodal Machine Learning Applications参考文献 20被引用数 22

ひとこと要約

本論文では、モデル出力分布と報酬分布を組み合わせるソフトマックス価値関数を用いることで、ウォームスタート学習とサンプル分散低減の必要性を排除する、ソフトマックス方策勾配（SPG）というコールドスタート強化学習手法を提案する。この手法は、自動要約および画像キャプション生成のタスクで最先端の性能を達成し、MLEおよびRAMLベースラインと比較してROUGE-LおよびCIDErスコアで顕著な向上を示した。

ABSTRACT

Policy-gradient approaches to reinforcement learning have two common and undesirable overhead procedures, namely warm-start training and sample variance reduction. In this paper, we describe a reinforcement learning method based on a softmax value function that requires neither of these procedures. Our method combines the advantages of policy-gradient methods with the efficiency and simplicity of maximum-likelihood approaches. We apply this new cold-start reinforcement learning method in training sequence generation models for structured output prediction problems. Empirical evidence validates this method on automatic summarization and image captioning tasks.

研究の動機と目的

• シーケンス生成における最大尤度事前学習に内在する露出バイアスおよび誤った目的関数問題に対処する。
• 方策勾配強化学習におけるウォームスタート学習および複雑なサンプル分散低減技術の必要性を排除する。
• ランダム初期化からの効率的かつ直接的な方策最適化を可能にする価値関数を開発する。
• テキスト要約や画像キャプションなどの構造的出力予測タスクにおける性能を向上させる。

提案手法

• モデルの出力分布と報酬分布を組み合わせる提案されたソフトマックス価値関数を提案する。
• ハイパーパramータのデータセットや訓練エポックに跨るチューニングを必要としないバング・バング混合モデルを用いて、モデル出力と報酬分布のバランスを取る。
• 報酬で重み付けされた対数尤度勾配の期待値として得られる方策勾配を導出する。この勾配は、提案分布からの近似サンプリングにより計算される。
• 訓練中に計算が困難な提案分布を近似するための効率的なフォワードパスサンプリング方式を実装する。
• ROUGEやCIDErなどの複数の報酬指標を報酬関数に統合し、多様な出力特性を強制する。
• ADAGRADを用いてエンドツーエンドで訓練し、勾配クリッピングとドロップアウトを適用してタスク固有の報酬を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ウォームスタート事前学習なしに、ランダム初期化から効果的に方策勾配法を訓練できるか？
• RQ2 学習された提案分布によって、モデル出力と報酬分布の大きな乖離を軽減できるか？
• RQ3 ソフトマックス価値関数を用いてモデルと報酬分布を組み合わせることで、訓練の分散が低減され、収束が向上するか？
• RQ4 MLEおよびRAMLベースラインと比較して、シーケンス生成タスクで優れた性能を達成できるか？
• RQ5 混合比（p_drop）の選択が、異なるシーケンス生成タスクにおける性能にどのように影響するか？

主な発見

• 大規模なGigaword評価セットにおいて、SPGはROUGE-L F1スコア37.8を達成し、MLE（35.2）およびRAML（36.4）を顕著に上回った。
• MSCOCO画像キャプションベンチマークでは、p_drop = 0.6のSPGがC40テストセットでCIDErスコア1.013を達成し、RAML（0.997）およびMLE（0.968）を上回った。
• SPGはMLEおよびRAMLと同程度の訓練ステップ数で収束したため、1ステップあたりの追加的な訓練コストはなかった。
• SPGの最適なp_drop値は0.4～0.8の範囲であり、Gigawordではp_drop = 0.4でピーク性能を示し、MSCOCOではp_drop = 0.6でピーク性能を示した。
• SPGはROUGE-LおよびCIDErスコアの両方で一貫した改善を示し、評価指標全体にわたるロバスト性を示した。
• 本手法はウォームスタート事前学習および複雑な分散低減の必要性を排除し、ランダム初期化からの直接的エンドツーエンド学習を可能にした。