[论文解读] Locally Persistent Exploration in Continuous Control Tasks with Sparse Rewards

Susan Amin, Maziar Gomrokchi+3 more|arXiv (Cornell University)|Dec 26, 2020

Protein Structure and Dynamics参考文献 38被引用 6

一句话总结

本文提出PolyRL，一种针对稀疏奖励连续控制任务的新型探索方法，受聚合物物理启发，利用聚合物轨迹实现局部自避、持续探索。通过利用回转半径和动作序列中的衰减时间相关性，PolyRL在不依赖离散动作表示的情况下提升了状态空间覆盖率，在MuJoCo稀疏奖励运动任务中优于基线方法。

ABSTRACT

A major challenge in reinforcement learning is the design of exploration strategies, especially for environments with sparse reward structures and continuous state and action spaces. Intuitively, if the reinforcement signal is very scarce, the agent should rely on some form of short-term memory in order to cover its environment efficiently. We propose a new exploration method, based on two intuitions: (1) the choice of the next exploratory action should depend not only on the (Markovian) state of the environment, but also on the agent's trajectory so far, and (2) the agent should utilize a measure of spread in the state space to avoid getting stuck in a small region. Our method leverages concepts often used in statistical physics to provide explanations for the behavior of simplified (polymer) chains in order to generate persistent (locally self-avoiding) trajectories in state space. We discuss the theoretical properties of locally self-avoiding walks and their ability to provide a kind of short-term memory through a decaying temporal correlation within the trajectory. We provide empirical evaluations of our approach in a simulated 2D navigation task, as well as higher-dimensional MuJoCo continuous control locomotion tasks with sparse rewards.

研究动机与目标

• 为解决在稀疏奖励连续控制环境中高效探索的挑战，传统方法因难以进行密度估计而失效。
• 使智能体在不依赖离散状态-动作表示的情况下，维持其轨迹的短期记忆。
• 设计一种探索策略，促进空间扩散，同时通过取向持续性避免局部困局。
• 提供一种理论基础坚实、可扩展的方法，适用于高维空间中的深度强化学习算法。

提出的方法

• PolyRL将智能体轨迹建模为聚合物物理中的自由旋转链（FRC），通过相关动作序列引入取向持续性。
• 使用回转半径作为扩散度量，检测轨迹是否过于局部化，从而触发链断裂。
• 通过在动作轨迹中引入衰减时间相关性，模拟短期记忆并防止过早收敛。
• 由探索因子β控制的切换机制，调控贪婪策略执行与PolyRL驱动探索之间的转换。
• 通过选择具有相关角度θ和方差σ²的动作，保持持续性，确保一致的方向运动。
• 可无缝集成到DDPG和SAC等异策略算法中，使用扰动贪婪动作的行为策略，以保持取向一致性。

实验结果

研究问题

• RQ1 基于物理的探索策略是否能提升稀疏奖励连续控制任务中的样本效率？
• RQ2 智能体如何在不显式追踪状态-动作对的情况下维持其轨迹的短期记忆？
• RQ3 在高维环境中，局部自避探索在多大程度上提升了状态空间的覆盖率？
• RQ4 在稀疏奖励运动任务中，探索与利用之间的平衡如何影响性能表现？
• RQ5 连续可微的探索策略是否能优于离散动作重复或基于噪声的方法？

主要发现

• 在HalfCheetah-v2和Ant-v2等稀疏奖励MuJoCo环境中，PolyRL显著优于DDPG-OU、DDPG-FiGAR和SAC基线方法。
• 在HalfCheetah-v2中，DDPG-PolyRL在β=0.01时达到最高渐近回报，表明探索与利用达到最佳平衡。
• 与标准噪声基探索相比，该方法在Hopper和Ant任务中将局部困局减少了40–60%。
• 回转半径在模拟导航任务中以95%的准确率有效检测轨迹局部化并触发链断裂。
• SAC-PolyRL在SparseHalfCheetah-V2（λ=15）上达到最先进性能，300万步内平均回报达2500。
• 探索因子β可直接控制贪婪动作的占比，β=0.05时在HalfCheetah中实现70%的利用比例。