[论文解读] DQN with model-based exploration: efficient learning on environments with sparse rewards

Stephen Gou, Yuyang Liu|arXiv (Cornell University)|Mar 22, 2019

Reinforcement Learning in Robotics参考文献 8被引用 7

一句话总结

本文提出基于模型的探索DQN，通过使用学习到的动力学模型引导探索，在稀疏奖励环境中提升了样本效率。通过执行一步规划，选择通往最少访问状态的动作（通过近期状态的多元高斯拟合估计），该方法在Mountain Car中改善了探索并加速了学习，但在Lunar Lander中表现不佳，原因在于分布假设和建模假设的限制。

ABSTRACT

We propose Deep Q-Networks (DQN) with model-based exploration, an algorithm combining both model-free and model-based approaches that explores better and learns environments with sparse rewards more efficiently. DQN is a general-purpose, model-free algorithm and has been proven to perform well in a variety of tasks including Atari 2600 games since it's first proposed by Minh et el. However, like many other reinforcement learning (RL) algorithms, DQN suffers from poor sample efficiency when rewards are sparse in an environment. As a result, most of the transitions stored in the replay memory have no informative reward signal, and provide limited value to the convergence and training of the Q-Network. However, one insight is that these transitions can be used to learn the dynamics of the environment as a supervised learning problem. The transitions also provide information of the distribution of visited states. Our algorithm utilizes these two observations to perform a one-step planning during exploration to pick an action that leads to states least likely to be seen, thus improving the performance of exploration. We demonstrate our agent's performance in two classic environments with sparse rewards in OpenAI gym: Mountain Car and Lunar Lander.

研究动机与目标

• 为解决DQN在稀疏奖励环境中样本效率低下问题，其中大多数经验转移不提供有用的学乤断点。
• 通过利用回放缓冲区中未使用的转移来学习环境动力学和状态访问模式，改善探索。
• 设计一种基于模型的探索策略，通过一步规划主动寻找低概率状态。
• 评估将无模型DQN与基于模型的探索相结合是否能实现更快的学习速度和更好的样本效率。
• 识别该方法在准确动力学建模和高斯分布状态访问等假设下的局限性。

提出的方法

• 该算法使用在回放缓冲区转移上训练的动力学预测网络，根据当前状态和动作预测下一个状态。
• 对最近访问的状态集合拟合多元高斯分布，以估计新状态的概率。
• 在探索过程中，智能体选择使预测下一个状态在高斯模型下概率最低的动作，从而促进对稀有状态的探索。
• 该方法执行一步规划：对每个动作，预测下一个状态，并计算其在拟合高斯分布下的似然度，选择似然度最低的动作。
• 探索策略被整合进DQN的ε-贪婪框架中，用基于模型的动作选择替代随机探索。
• 该方法依赖于动力学模型准确且状态访问遵循多元高斯分布的假设。

实验结果

研究问题

• RQ1 基于模型的探索能否提升DQN在稀疏奖励环境中的样本效率？
• RQ2 使用学习到的动力学模型引导探索是否能相比标准DQN实现更快的收敛？
• RQ3 基于状态访问似然度的一部规划在发现稀有状态方面的有效性如何？
• RQ4 在何种条件下基于模型的探索会失败？其性能受限的关键假设是什么？
• RQ5 尽管状态分布和动力学准确性存在差异，该方法在Mountain Car和Lunar Lander等不同环境中是否具有泛化能力？

主要发现

• 所提方法在Mountain Car中显著优于标准DQN，在50集以内即达到更高的平均奖励，而DQN需100多集才达到。
• 原始DQN在Mountain Car的某些运行中未能学习，而基于模型的探索方法在全部三个独立运行中均成功。
• 蒙特卡洛策略梯度在Mountain Car的所有运行中均未能学习，凸显了稀疏奖励带来的挑战。
• 在Lunar Lander中，该方法与DQN相比未表现出明显改进，原因在于动力学模型精度较低且状态访问非正态分布。
• Lunar Lander中的失败归因于两项核心假设的违反：动力学预测不准确和状态访问分布非高斯分布。
• 可视化结果证实，该方法在Lunar Lander中并未比随机探索或基于核相似度的方法扩大状态覆盖范围，表明探索无效。