[論文レビュー] Efficient Exploration for Dialog Policy Learning with Deep BBQ Networks \& Replay Buffer Spiking.

Zachary C. Lipton, Jianfeng Gao+4 more|arXiv (Cornell University)|Aug 17, 2016

Topic Modeling参考文献 43被引用数 49

ひとこと要約

本論文では、タスク指向対話システムにおける深層Q学習の探索効率を向上させる2つの手法を提案する：ベイズ・バイ・バックプロパゲーションニューラルネットワークを用いたトンプソンサンプリングと、成功したトラジェクトリでリプレイバッファをスパイクすること。これらの手法は、標準的な$\epsilon$-greedy探索が失敗する状況でも、成功した学習を可能にするほど、サンプル効率を著しく向上させる。

ABSTRACT

When rewards are sparse and action spaces large, Q-learning with $\epsilon$-greedy exploration can be inefficient. This poses problems for otherwise promising applications such as task-oriented dialogue systems, where the primary reward signal, indicating successful completion of a task, requires a complex sequence of appropriate actions. Under these circumstances, a randomly exploring agent might never stumble upon a successful outcome in reasonable time. We present two techniques that significantly improve the efficiency of exploration for deep Q-learning agents in dialogue systems. First, we introduce an exploration technique based on Thompson sampling, drawing Monte Carlo samples from a Bayes-by-backprop neural network, demonstrating marked improvement over common approaches such as $\epsilon$-greedy and Boltzmann exploration. Second, we show that spiking the replay buffer with experiences from a small number of successful episodes, as are easy to harvest for dialogue tasks, can make Q-learning feasible when it might otherwise fail.

研究の動機と目的

• 報酬が疎らで行動空間が大きな対話ポリシー学習において、ランダムな探索では成功したトラジェクトリに到達できないという課題に対処すること。
• 標準的な探索戦略に代えてより情報に基づいた手法を導入することで、深層Q学習エージェントのサンプル効率を向上させること。
• ベイズ的手法による探索（ベイズ・バイ・バックプロパゲーションを用いたもの）とリプレイバッファのスパイクが、対話ポリシー学習の収束速度を加速できるかどうかを調査すること。
• 成功したエピソードからの標的的な経験注入を組み合わせた場合、深層Q学習が報酬が疎らで行動空間が大きな環境でも実用可能かどうかを評価すること。

提案手法

• ベイズ・バイ・バックプロパゲーションニューラルネットワークからのモンテカルロサンプルを用いたトンプソンサンプリングを用いて探索を誘導し、$\epsilon$-greedy やボルツマン探索に代える。
• ベイズニューラルネットワークを用いてQ値予測の不確実性を推定し、不確実性の高い行動の探索をより的確に行えるようにする。
• 通常、対話システムでは容易に入手可能な少数の成功したエピソードのトラジェクトリをリプレイバッファにスパイクする。
• リプレイバッファのスパイクを深層Q学習と統合し、学習の安定性と収束速度を向上させる。
• ベイズ的手法による探索と経験リプレイの強化を組み合わせることで、報酬が疎らな環境におけるより効率的な探索戦略を構築する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ・バイ・バックプロパゲーションネットワークを用いたトンプソンサンプリングは、$\epsilon$-greedy やボルツマン探索と比較して、対話ポリシー学習における探索効率を向上させることができるか？
• RQ2 リプレイバッファに少数の成功したトラジェクトリを注入することで、対話システムのための深層Q学習の学習性能が著しく向上するか？
• RQ3 ベイズ的手法による探索とリプレイバッファのスパイクの組み合わせにより、報酬が疎らで行動空間が大きな環境でも深層Q学習が実用可能になるか？
• RQ4 提案手法は、標準的な探索ベースラインと比較して、サンプル効率と収束速度の両面で優れているか？

主な発見

• ベイズ・バイ・バックプロパゲーションを用いたトンプソンサンプリングは、$\epsilon$-greedy やボルツマン探索と比較して、サンプル効率と収束速度の両面で優れている。
• 成功したトラジェクトリでリプレイバッファをスパイクすることで、報酬が疎らな環境では通常失敗する深層Q学習でも、成功した学習が可能になる。
• ベイズ的手法による探索とリプレイバッファのスパイクの組み合わせにより、タスク指向対話ポリシー学習において、より速い学習と高い成功確率が達成される。
• 追加の報酬形状調整や環境の変更を一切行わずしても、学習効率に顕著な改善が得られる。