[論文レビュー] Count-Based Exploration with Neural Density Models

Georg Ostrovski, Marc G. Bellemare+2 more|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics参考文献 22被引用数 220

ひとこと要約

本論文はPixelCNNベースの疑似カウントを用いて探索を促進し、それらを混合モンテカルロ更新と組み合わせ、難易度の高いアタリゲームで最先端の結果を達成する。また、探索におけるモデル品質とMMCの役割を分析する。

ABSTRACT

Bellemare et al. (2016) introduced the notion of a pseudo-count, derived from a density model, to generalize count-based exploration to non-tabular reinforcement learning. This pseudo-count was used to generate an exploration bonus for a DQN agent and combined with a mixed Monte Carlo update was sufficient to achieve state of the art on the Atari 2600 game Montezuma's Revenge. We consider two questions left open by their work: First, how important is the quality of the density model for exploration? Second, what role does the Monte Carlo update play in exploration? We answer the first question by demonstrating the use of PixelCNN, an advanced neural density model for images, to supply a pseudo-count. In particular, we examine the intrinsic difficulties in adapting Bellemare et al.'s approach when assumptions about the model are violated. The result is a more practical and general algorithm requiring no special apparatus. We combine PixelCNN pseudo-counts with different agent architectures to dramatically improve the state of the art on several hard Atari games. One surprising finding is that the mixed Monte Carlo update is a powerful facilitator of exploration in the sparsest of settings, including Montezuma's Revenge.

研究の動機と目的

• 密度モデルの品質が探索性能に与える影響を評価する。
• オンラインの疑似カウントのためのニューラル密度モデルの実用性を評価する。
• 探索効率における混合モンテカルロ更新の役割を調査する。
• オンライン強化学習トレーニングに適した実用的なPixelCNNベースの探索ボーナスを開発する。

提案手法

• 探索のための疑似カウントを導出するために、神経密度モデルとしてPixelCNNを採用する。
• 減衰フィルタと減衰スケジュールを用いて予測利得から疑似カウントを計算し、線形成長に近似する。
• 探索を導くために疑似カウントボーナスを環境報酬に組み込む。
• 軽量で簡略化されたPixelCNNアーキテクチャを用いてオンラインで密度モデルを訓練する。
• Atariゲーム全体で、CTSベースの探索およびベースラインDQNと比較してPixelCNNベースの探索を評価する。

実験結果

リサーチクエスチョン

• RQ1 より優れた密度モデルは探索性能をどの程度改善するのか。
• RQ2 元の密度モデルの仮定を緩和しても探索性能を損なわないのか。
• RQ3 混合モンテカルロ更新が探索の成功に与える影響は何か。
• RQ4 PixelCNNはRLにおける疑似カウントの実用的なオンライン密度モデルとしてどのように機能するか。

主な発見

• PixelCNNベースの疑似カウントはCTSより強力な探索信号を提供し、難易度の高い探索ゲームで性能を向上させる。
• 軽量なアーキテクチャを用いたPixelCNNのオンライン訓練は、強化学習での使用に実行可能で安定している。
• PixelCNN探索ボーナスとMMCの組み合わせは、Montezuma’s Revenge およびその他の報酬が疎なゲームの性能を大幅に向上させる。
• PixelCNNは、ベースラインと比較して広範なAtariゲームで速度と安定性の点で優れる。
• 一時的な探索ボーナスと組み合わせた効果的な探索を可能にするにはモンテカルロリターンが不可欠である。