[论文解读] MADE: Exploration via Maximizing Deviation from Explored Regions

Tianjun Zhang, Paria Rashidinejad+4 more|arXiv (Cornell University)|Jun 18, 2021

Reinforcement Learning in Robotics参考文献 105被引用 11

一句话总结

本文提出MADE，一种强化学习中的新型探索方法，通过在RL目标中添加自适应正则化项，使智能体最大化偏离先前访问过的状态-动作区域。该方法在MiniGrid和DeepMind Control Suite等稀疏奖励环境中的样本效率达到最先进水平，通过一种简单且即插即用的内在奖励机制，优于现有的内在好奇心和计数基基线方法。

ABSTRACT

In online reinforcement learning (RL), efficient exploration remains particularly challenging in high-dimensional environments with sparse rewards. In low-dimensional environments, where tabular parameterization is possible, count-based upper confidence bound (UCB) exploration methods achieve minimax near-optimal rates. However, it remains unclear how to efficiently implement UCB in realistic RL tasks that involve non-linear function approximation. To address this, we propose a new exploration approach via extit{maximizing} the deviation of the occupancy of the next policy from the explored regions. We add this term as an adaptive regularizer to the standard RL objective to balance exploration vs. exploitation. We pair the new objective with a provably convergent algorithm, giving rise to a new intrinsic reward that adjusts existing bonuses. The proposed intrinsic reward is easy to implement and combine with other existing RL algorithms to conduct exploration. As a proof of concept, we evaluate the new intrinsic reward on tabular examples across a variety of model-based and model-free algorithms, showing improvements over count-only exploration strategies. When tested on navigation and locomotion tasks from MiniGrid and DeepMind Control Suite benchmarks, our approach significantly improves sample efficiency over state-of-the-art methods. Our code is available at https://github.com/tianjunz/MADE.

研究动机与目标

• 为解决在高维、稀疏奖励强化学习环境中，传统基于计数的UCB方法因非线性函数逼近而失效的问题。
• 开发一种实用且理论基础坚实的内在探索奖励，将UCB风格探索推广至非表格化设置。
• 设计一种自适应正则化器，鼓励策略探索先前覆盖度较低的区域，从而提升样本效率。
• 提供一种可证明收敛的算法，将新正则化器整合进标准RL目标。
• 在表格化和连续控制基准上对方法进行实证验证，证明其在性能上优于现有内在奖励方法。

提出的方法

• 该方法引入一个正则化RL目标，通过添加一项来促进在探索不足区域的高访问密度，其定义为 $ L_k(d^\pi) = J(d^\pi) + \tau_k \sum_{s,a} \sqrt{\frac{d^\pi(s,a)}{\rho^{k}_{\text{cov}}(s,a)}} $。
• 该正则化器鼓励下一任策略的访问密度 $ d^\pi $ 在先前覆盖度 $ \rho^{k}_{\text{cov}} $ 较低的区域更大，从而有效最大化对已探索区域的偏离。
• 该算法使用近似规划预言机求解正则化目标，在弱假设下可保证收敛至全局最优。
• 从正则化器导出的内在奖励计算简单，可轻松与任何现有RL算法结合，作为即插即用的奖励模块。
• 该方法基于UCB风格探索，但用基于访问密度的偏离度量替代了依赖方差的奖励，避免了对价值函数方差的估计。
• 该方法在表格化和连续控制设置中均进行了评估，代码实现已发布于GitHub。

实验结果

研究问题

• RQ1 能否在非线性函数逼近下，将UCB风格探索奖励有效推广至非表格化设置？
• RQ2 如何设计一种内在奖励，以促进在低覆盖区域的探索，同时避免依赖价值函数方差估计？
• RQ3 最大化对已探索区域的偏离是否能提升稀疏奖励环境中的样本效率？
• RQ4 所提出的正则化器能否被高效优化，并以最小修改整合进现有RL算法？
• RQ5 在样本效率和鲁棒性方面，该方法与最先进内在探索基线相比表现如何？

主要发现

• MADE在MiniGrid导航任务中显著提升了样本效率，优于计数基和好奇心基基线方法。
• 在DeepMind Control Suite的运动控制任务中，MADE以更少的环境交互次数实现了更高的最终性能，优于最先进探索方法。
• 在表格化设置中，该方法的样本效率优于所有基线，其归一化样本使用量始终低于其他方法。
• 从MADE导出的内在奖励在模型无关和模型相关RL算法中均表现有效，展现出广泛的兼容性。
• 该方法避免了其他内在奖励方法常见的失效模式，如脱离（derailment）和灾难性遗忘。
• 该方法对超参数选择具有鲁棒性，并在多种环境中保持了强劲性能。