[论文解读] Directed Exploration for Reinforcement Learning

Zhaohan Daniel Guo, Emma Brunskill|arXiv (Cornell University)|Jun 18, 2019

Reinforcement Learning in Robotics参考文献 18被引用 9

一句话总结

本文提出了一种定向探索方法用于强化学习，其中通过训练一个目标条件策略，直接前往高不确定性状态，从而避免了奖励奖金方法中的非平稳性问题。该方法在稀疏奖励环境（如FetchPush和Mountain Car）中，相较于基于不确定性的奖励奖金方法，实现了更高效且更鲁棒的探索。

ABSTRACT

Efficient exploration is necessary to achieve good sample efficiency for reinforcement learning in general. From small, tabular settings such as gridworlds to large, continuous and sparse reward settings such as robotic object manipulation tasks, exploration through adding an uncertainty bonus to the reward function has been shown to be effective when the uncertainty is able to accurately drive exploration towards promising states. However reward bonuses can still be inefficient since they are non-stationary, which means that we must wait for function approximators to catch up and converge again when uncertainties change. We propose the idea of directed exploration, that is learning a goal-conditioned policy where goals are simply other states, and using that to directly try to reach states with large uncertainty. The goal-conditioned policy is independent of uncertainty and is thus stationary. We show in our experiments how directed exploration is more efficient at exploration and more robust to how the uncertainty is computed than adding bonuses to rewards.

研究动机与目标

• 解决由于不确定性更新非平稳性导致的基于奖励奖金的探索在深度强化学习中效率低下的问题。
• 克服函数逼近器难以跟上不断变化的不确定性奖金而导致的收敛缓慢和不稳定问题。
• 开发一种平稳的、目标导向的探索策略，将不确定性估计与策略学习解耦。
• 在稀疏奖励环境（如机器人操作任务和网格世界）中提升探索效率和鲁棒性。
• 证明基于不确定性的目标选择优于随机目标采样和奖励奖金方法，在探索速度和效果方面表现更优。

提出的方法

• 训练一个目标条件策略 $\pi(s,g)$，将状态-动作对映射为动作，以到达任意指定的目标状态 $g$。
• 利用不确定性估计（通过动力学模型的预测损失计算）识别高不确定性状态作为目标目标。
• 基于不确定性选择目标状态，然后使用预训练的目标条件策略直接尝试到达这些状态。
• 将目标条件策略与不确定性计算解耦，确保即使不确定性发生变化，策略仍保持平稳。
• 通过将收集的轨迹输入共享回放缓冲区，将定向探索组件与现有的离策略强化学习算法集成。
• 使用SAC或DQN等离策略算法完成主要学习目标，而目标条件策略则驱动探索向信息丰富的状态进行。

实验结果

研究问题

• RQ1 平稳的目标条件策略是否能在探索效率上优于非平稳的奖励奖金方法？
• RQ2 当不确定性估计存在噪声或不准确时，定向探索相较于奖励奖金方法的表现如何？
• RQ3 在复杂环境中，基于不确定性的目标选择是否优于随机目标采样？
• RQ4 目标条件策略的学习速度如何影响定向探索的整体探索效率？
• RQ5 定向探索是否可以模块化地集成到现有离策略强化学习算法中，而无需架构修改？

主要发现

• 在Mountain Car和FetchPush环境中，基于不确定性的目标选择的定向探索显著优于随机目标采样。
• 在Mountain Car中，尽管由于领域简单，目标条件策略学习迅速，定向探索仍比奖励奖金方法实现了更快的探索速度。
• 在FetchPush中，尽管策略学习较慢，定向探索仍优于奖励奖金方法，表明其对噪声或延迟的不确定性信号具有鲁棒性。
• 由于非平稳性，奖励奖金方法在适应不确定性变化时响应较慢，导致不确定性信号通过函数逼近器传播延迟。
• 在定向探索中，目标条件策略即使在不确定性估计波动时也保持稳定和高效，而奖励奖金方法则因不稳定性而表现受损。
• 定向探索对不准确的不确定性度量表现出更强的鲁棒性，表明其对不确定性估计质量的敏感度低于奖励奖金技术。