[论文解读] Action Noise in Off-Policy Deep Reinforcement Learning: Impact on Exploration and Performance

Jakob Hollenstein, Sayantan Auddy+3 more|arXiv (Cornell University)|Jun 8, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

本文研究了在连续控制的离策略深度强化学习中，动作噪声的影响，比较了高斯噪声与Ornstein-Uhlenbeck噪声的类型和尺度。研究发现，在训练过程中降低噪声尺度可提升性能与鲁棒性，并提出了一种新型状态空间覆盖度量指标 X_Urel，以更有效地评估探索效率。

ABSTRACT

Many Deep Reinforcement Learning (D-RL) algorithms rely on simple forms of exploration such as the additive action noise often used in continuous control domains. Typically, the scaling factor of this action noise is chosen as a hyper-parameter and is kept constant during training. In this paper, we focus on action noise in off-policy deep reinforcement learning for continuous control. We analyze how the learned policy is impacted by the noise type, noise scale, and impact scaling factor reduction schedule. We consider the two most prominent types of action noise, Gaussian and Ornstein-Uhlenbeck noise, and perform a vast experimental campaign by systematically varying the noise type and scale parameter, and by measuring variables of interest like the expected return of the policy and the state-space coverage during exploration. For the latter, we propose a novel state-space coverage measure $\operatorname{X}_{\mathcal{U} ext{rel}}$ that is more robust to estimation artifacts caused by points close to the state-space boundary than previously-proposed measures. Larger noise scales generally increase state-space coverage. However, we found that increasing the space coverage using a larger noise scale is often not beneficial. On the contrary, reducing the noise scale over the training process reduces the variance and generally improves the learning performance. We conclude that the best noise type and scale are environment dependent, and based on our observations derive heuristic rules for guiding the choice of the action noise as a starting point for further optimization.

研究动机与目标

• 研究动作噪声类型（高斯分布与Ornstein-Uhlenbeck分布）和尺度如何影响离策略深度强化学习中的探索与学习性能。
• 评估在训练过程中动态降低动作噪声（噪声调度）对策略性能与方差的影响。
• 开发并验证一种更具鲁棒性的状态空间覆盖度量指标 X_Urel，以减轻边界估计伪影的影响。
• 基于环境特性，推导出选择动作噪声配置的启发式指导原则。
• 在六种连续控制基准环境中，对DDPG、TD3、SAC与detSAC进行实证比较，考察不同噪声条件下的表现。

提出的方法

• 在多个算法与环境中系统地改变动作噪声类型（高斯分布、Ornstein-Uhlenbeck分布）、尺度（σ = 0.1 至 1.7）以及噪声衰减调度（β 衰减）。
• 提出一种新型状态空间覆盖度量 X_Urel，相较于先前指标，对状态空间边界附近的估计伪影具有更强的鲁棒性。
• 在六个环境中开展全面的实验：Mountain-Car、Inverted-Pendulum-Swingup、Reacher、Hopper、Walker2D 与 Half-Cheetah。
• 通过期望回报衡量性能，通过状态空间覆盖度衡量探索效率，使用十次独立运行的中位数回报与四分位距进行评估。
• 通过在训练过程中逐步减小噪声影响因子 β 来实现噪声衰减，模拟从探索性行为向利用性行为的转变。
• 采用先前研究（如 Raffin, 2020）中调优的超参数，以确保公平比较，并隔离噪声配置的影响。

实验结果

研究问题

• RQ1 在离策略DRL中，高斯分布与Ornstein-Uhlenbeck动作噪声的选择如何影响学习性能与状态空间覆盖度？
• RQ2 在不同环境中，增加动作噪声尺度对状态空间覆盖度与最终策略性能有何影响？
• RQ3 在训练过程中降低噪声影响（β）是否能提升学习性能并减少方差？
• RQ4 与先前的覆盖度量相比，所提出的 X_Urel 指标在边界效应上的鲁棒性如何？
• RQ5 能否基于环境动力学与探索需求，推导出选择动作噪声类型与尺度的启发式规则？

主要发现

• 高斯分布与Ornstein-Uhlenbeck噪声的选择具有环境依赖性：两种类型并非在所有环境中均表现更优，例如在Mountain-Car环境中存在显著性能差异。
• 增加动作噪声尺度可一致提升状态空间覆盖度，但通常会降低最终学习性能，表明探索广度与学习效率之间存在权衡。
• 在多数环境中，通过在训练过程中降低噪声影响因子 β 可提升性能，并显著减少不同运行之间的性能方差。
• 所提出的 X_Urel 指标通过降低对状态空间边界附近点的敏感性，提供了更鲁棒的状态空间覆盖估计，相较于先前指标更具稳定性。
• 噪声配置中最重要的因素是噪声尺度 σ：当需要较少覆盖时，应优先选择较小的尺度；当需要更广泛的探索时，可采用较大的尺度。
• 建议采用噪声影响的调度衰减策略作为通用方法，以提升鲁棒性与性能，尤其是在已发现通往目标轨迹后。