[论文解读] Count-Based Exploration with Neural Density Models

Georg Ostrovski, Marc G. Bellemare+2 more|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics参考文献 22被引用 220

一句话总结

本文使用基于 PixelCNN 的伪计数来驱动探索，将它们与混合 Monte Carlo 更新相结合，在难解的 Atari 游戏上取得了最先进的结果；同时分析了模型质量和 MMC 在探索中的作用。

ABSTRACT

Bellemare et al. (2016) introduced the notion of a pseudo-count, derived from a density model, to generalize count-based exploration to non-tabular reinforcement learning. This pseudo-count was used to generate an exploration bonus for a DQN agent and combined with a mixed Monte Carlo update was sufficient to achieve state of the art on the Atari 2600 game Montezuma's Revenge. We consider two questions left open by their work: First, how important is the quality of the density model for exploration? Second, what role does the Monte Carlo update play in exploration? We answer the first question by demonstrating the use of PixelCNN, an advanced neural density model for images, to supply a pseudo-count. In particular, we examine the intrinsic difficulties in adapting Bellemare et al.'s approach when assumptions about the model are violated. The result is a more practical and general algorithm requiring no special apparatus. We combine PixelCNN pseudo-counts with different agent architectures to dramatically improve the state of the art on several hard Atari games. One surprising finding is that the mixed Monte Carlo update is a powerful facilitator of exploration in the sparsest of settings, including Montezuma's Revenge.

研究动机与目标

• 评估密度模型质量如何影响探索性能。
• 评估神经密度模型在在线伪计数中的可行性。
• 调查混合 Monte Carlo 更新在探索效率中的作用。
• 开发适用于在线 RL 训练的实用 PixelCNN 基础的探索奖励。

提出的方法

• 采用 PixelCNN 作为神经密度模型来推导探索的伪计数。
• 从预测增益中计算伪计数，使用衰减滤波器和衰减计划来近似线性增长。
• 将伪计数奖励并入环境奖励以引导探索。
• 在线训练密度模型，使用轻量化、简化的 PixelCNN 架构。
• 在 Atari 游戏中将基于 PixelCNN 的探索与 CTS 基于的探索以及基线 DQN 进行比较。

实验结果

研究问题

• RQ1 更好的密度模型在多大程度上提升探索性能？
• RQ2 是否可以放宽原始密度模型的假设而不损害探索？
• RQ3 混合 Monte Carlo 更新对探索成功的影响是什么？
• RQ4 PixelCNN 作为 RL 中实际在线密度模型用于伪计数的性能如何？

主要发现

• 基于 PixelCNN 的伪计数提供比 CTS 更强的探索信号，在难以探索的游戏上提升表现。
• 使用轻量架构的 PixelCNN 在线训练在 RL 中是可行且稳定的。
• 将 PixelCNN 探索奖励与 MMC 结合在 Montezuma’s Revenge 及其他稀疏奖励游戏中显著提升表现。
• 与基线相比，PixelCNN 在大量 Atari 游戏中实现了更快的速度和更高的稳定性。
• 蒙特卡洛回报对于在瞬时探索奖励下实现有效探索至关重要。