[論文レビュー] Sample-efficient Deep Reinforcement Learning for Dialog Control

Kavosh Asadi, J. D. Williams|arXiv (Cornell University)|Dec 18, 2016

Reinforcement Learning in Robotics参考文献 12被引用数 10

ひとこと要約

本稿では、再帰ニューラルネットワーク（RNN）を用いた対話制御のための3つのサンプル効率の良い深層強化学習手法を提案する。価値ネットワークを導入して方策勾配の分散を低減し、方策および価値ネットワークの両方に経験再生を適用することで、標準的な方策勾配手法と比較して必要な対話回数を約1/3削減した。このアプローチは、部分的に観測可能な対話タスクおよび完全に観測可能な Lunar Lander タスクの両方で一貫した性能向上を示した。

ABSTRACT

Representing a dialog policy as a recurrent neural network (RNN) is attractive because it handles partial observability, infers a latent representation of state, and can be optimized with supervised learning (SL) or reinforcement learning (RL). For RL, a policy gradient approach is natural, but is sample inefficient. In this paper, we present 3 methods for reducing the number of dialogs required to optimize an RNN-based dialog policy with RL. The key idea is to maintain a second RNN which predicts the value of the current policy, and to apply experience replay to both networks. On two tasks, these methods reduce the number of dialogs/episodes required by about a third, vs. standard policy gradient methods.

研究の動機と目的

• 対話ポリシー最適化におけるサンプル効率の向上を図ること。ここでの対話相互作用は高コストである。
• RNNベースの対話ポリシーを学習する際、標準的な方策勾配手法の高い分散とサンプル非効率性を解消すること。
• 価値関数推定と経験再生を活用することで、より少ないエピソード数でRNNポリシーの有効な学習を可能にすること。
• 一般化可能性を評価するため、部分的に観測可能な対話タスクと完全に観測可能な制御タスク（Lunar Lander）の両方で手法を評価すること。
• 異なるネットワークアーキテクチャ、最適化手法、タスクタイプに対しても、手法の有効性が保たれることを示すこと。

提案手法

• 各隠れ状態 $\mathbf{h}_t$ からの期待リターンを推定する価値ネットワーク $\hat{V}(\mathbf{h}_t, \mathbf{w})$ を導入し、方策更新における勾配分散を低減するための状態依存ベースラインとして用いる。
• 方策ネットワークおよび価値ネットワークの両方に経験再生を適用することで、1エピソードあたり複数回の勾配更新が可能になり、データ効率が向上する。
• 行動方策 $\mu$ からの非i.i.d.データを扱えるように、重要度サンプリング比 $\rho_t = \pi(a_t|\mathbf{h}_t)/\mu(a_t|\mathbf{h}_t)$ を用いたオフポリシー更新を適用する。
• 2ストリーム訓練プロセスを採用：方策ネットワークにはオンポリシー更新、価値ネットワークにはオフポリシー更新を適用し、1回のオンポリシー更新ごとに複数回のオフポリシー更新を実行する。
• 適応的最適化手法（対話タスクではAdadelta、Lunar Lander タスクではAdam）を用いた確率的勾配降下法を採用し、タスクごとに最適化されたバッチサイズを設定する。
• 部分観測性を扱えるように、LSTMまたはGRUを用いた再帰的アーキテクチャを採用し、方策および価値関数をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 価値ネットワークは、RNNベースの対話ポリシーにおける方策勾配学習のサンプル複雑性を低減できるか？
• RQ2 方策および価値ネットワークの両方に経験再生を適用した場合、対話制御におけるサンプル効率はどの程度向上するか？
• RQ3 Lunar Lander という非対話的で完全に観測可能な強化学習タスクにおいて、本手法は一般化可能性を示せるか？
• RQ4 ネットワークアーキテクチャ、活性化関数、最適化手法を変更しても、本手法の性能向上が維持されるか？
• RQ5 標準的なオンポリシー方策勾配手法と比較して、本手法は学習の分散を低減し、収束を加速できるか？

主な発見

• 提案手法は、対話制御タスクにおいて、標準的なオンポリシー方策勾配手法と比較して、漸近的性能に到達するための対話回数を約1/3削減した。
• 200回の独立実験において、タスク成功確率の分散が低く抑えられ、より安定した学習が実現した。
• Lunar Lander タスクにおいても、同様のサンプル効率の向上が確認され、異なる環境やネットワークアーキテクチャに対してもロバストであることが裏付けられた。
• 価値ネットワークをベースラインとして用いることで、勾配分散が顕著に低減され、より高速かつ安定した収束が達成された。
• 経験再生により、1エピソードあたり複数回の勾配更新が可能になり、データ効率が向上し、新たな相互作用の必要性が削減された。
• 異なる最適化手法（Adadelta 対 Adam）、活性化関数（ReLU）、ネットワーク設計に対しても、本手法は良好な一般化性能を示し、広範な適用可能性を示唆している。