[论文解读] Curiosity-driven Exploration in Deep Reinforcement Learning via Bayesian Neural Networks.

Rein Houthooft, Xi Chen+4 more|arXiv (Cornell University)|May 31, 2016

Reinforcement Learning in Robotics参考文献 3被引用 48

一句话总结

本文提出变分信息最大化探索（VIME），一种贝叶斯深度强化学习方法，利用贝叶斯神经网络中的变分推断来最大化关于环境动态的信息增益。VIME 在稀疏奖励的连续控制任务中提升了探索性能，相较于 epsilon-greedy 和噪声注入等启发式方法，在多种算法和环境中表现更优。

ABSTRACT

Scalable and effective exploration remains a key challenge in reinforcement learning (RL). While there are methods with optimality guarantees in the setting of discrete state and action spaces, these methods cannot be applied in high-dimensional deep RL scenarios. As such, most contemporary RL relies on simple heuristics such as epsilon-greedy exploration or adding Gaussian noise to the controls. This paper introduces Variational Information Maximizing Exploration (VIME), an exploration strategy based on maximization of information gain about the agent's belief of environment dynamics. We propose a practical implementation, using variational inference in Bayesian neural networks which efficiently handles continuous state and action spaces. VIME modifies the MDP reward function, and can be applied with several different underlying RL algorithms. We demonstrate that VIME achieves significantly better performance compared to heuristic exploration methods across a variety of continuous control tasks and algorithms, including tasks with very sparse rewards.

研究动机与目标

• 解决在高维连续状态和动作空间中有效探索的挑战，传统保证最优性的方法在此类场景下失效。
• 克服在稀疏奖励环境中启发式探索策略（如 epsilon-greedy 和高斯噪声）的局限性。
• 开发一种可扩展的信息论探索策略，其基础是关于环境动态的信念更新。
• 通过修改马尔可夫决策过程（MDP）的奖励函数，实现与多种深度强化学习算法的集成。

提出的方法

• 使用带有变分推断的贝叶斯神经网络来建模环境动态的不确定性，并估计信息增益。
• 将探索表述为状态转移与模型后验更新之间互信息的最大化。
• 修改环境奖励函数，加入源自变分后验更新的信息增益项。
• 通过将信息增益作为内在好奇心注入，将该方法应用于 SAC 和 PPO 等标准深度强化学习框架。
• 利用随机变分推断，高效近似连续空间中网络权重的后验分布。
• 通过使用神经网络推理网络进行摊销推断，确保在高维观测下的可扩展性。

实验结果

研究问题

• RQ1 基于信念更新的信息论探索是否能提升连续控制任务中的样本效率？
• RQ2 在稀疏奖励环境中，VIME 与 epsilon-greedy 和噪声注入等启发式探索策略相比表现如何？
• RQ3 VIME 在不同深度强化学习算法和环境中的泛化能力如何？
• RQ4 最大化关于动态的信息增益是否能带来更快的收敛速度和更优的最终性能？

主要发现

• VIME 在连续控制任务中显著优于 epsilon-greedy 和高斯噪声等启发式探索方法。
• 该方法在多个稀疏奖励基准环境中的样本效率和最终性能均表现更优。
• 在 AntMaze 和 HalfCheetah 等任务中，VIME 提升了学习速度和最终回报，这些任务中稀疏奖励会阻碍标准探索。
• 将 VIME 与 SAC 和 PPO 等算法集成后，无需修改网络架构即可实现一致的性能提升。
• 贝叶斯神经网络的使用实现了高维空间中有效的不确定性估计和信息增益计算。
• VIME 在多种环境和强化学习算法中表现出鲁棒性，证实了其泛化能力。