[论文解读] Ctrl-Z: Recovering from Instability in Reinforcement Learning

Vibhavari Dasagi, Jake Bruce+2 more|arXiv (Cornell University)|Oct 9, 2019

Reinforcement Learning in Robotics参考文献 36被引用 13

一句话总结

该论文提出Ctrl-Z，一种与模型无关的方法，通过定期使用统计假设检验评估策略性能，并在性能停滞或下降时回滚到之前表现最佳的策略检查点，从而稳定深度强化学习。该方法显著提升了训练的稳定性和鲁棒性，在6个环境中的5个上优于DDPG，在超参数扰动下保持了TD3的性能，且计算开销极低。

ABSTRACT

When learning behavior, training data is often generated by the learner itself; this can result in unstable training dynamics, and this problem has particularly important applications in safety-sensitive real-world control tasks such as robotics. In this work, we propose a principled and model-agnostic approach to mitigate the issue of unstable learning dynamics by maintaining a history of a reinforcement learning agent over the course of training, and reverting to the parameters of a previous agent whenever performance significantly decreases. We develop techniques for evaluating this performance through statistical hypothesis testing of continued improvement, and evaluate them on a standard suite of challenging benchmark tasks involving continuous control of simulated robots. We show improvements over state-of-the-art reinforcement learning algorithms in performance and robustness to hyperparameters, outperforming DDPG in 5 out of 6 evaluation environments and showing no decrease in performance with TD3, which is known to be relatively stable. In this way, our approach takes an important step towards increasing data efficiency and stability in training for real-world robotic applications.

研究动机与目标

• 解决由函数逼近误差、超参数敏感性或探索不佳导致的自生成训练数据质量下降所引发的在线强化学习不稳定性问题。
• 开发一种与模型无关、计算开销低的机制，实现在不约束策略更新的前提下从性能下降中恢复。
• 在真实世界机器人应用中提升数据效率和安全性，因为不稳定的训练会增加成本和风险。
• 评估该方法在多样化超参数设置和强化学习算法下的鲁棒性，特别是在连续控制基准测试中的表现。

提出的方法

• 该方法定期使用统计假设检验将当前策略与历史策略检查点进行比较，以评估改进是否仍在持续。
• 采用非参数假设检验，如Mann-Whitney U检验，比较奖励分布并确定改进持续的概率。
• 如果改进持续的概率低于预设阈值ρ，则智能体回滚到之前表现最佳的策略参数。
• 该方法独立于模型架构、强化学习算法和奖励尺度，具有广泛适用性。
• 使用滚动评估窗口维护策略检查点的历史记录，从而能够从灾难性性能下降中恢复。
• 阈值ρ通过实验调优，且在广泛范围内表现出鲁棒性，降低了对超参数选择的敏感性。

实验结果

研究问题

• RQ1 是否存在一种原则性、与模型无关的方法，能够在不约束策略更新的前提下检测并从深度强化学习中的性能下降中恢复？
• RQ2 该方法在超参数扰动下提升训练稳定性和鲁棒性的有效性如何？
• RQ3 当应用于本质上不稳定的算法（如DDPG）和稳定的算法（如TD3）时，该方法是否能保持或提升性能？
• RQ4 该方法对阈值ρ的选择有多敏感？哪些取值范围能实现最佳性能？

主要发现

• 在标准超参数下，Ctrl-Z在6个连续控制基准环境中的5个上优于标准DDPG，表现出显著的性能提升。
• 当应用于本身已稳定的TD3时，Ctrl-Z未造成性能下降，表明其不会干扰行为良好的算法。
• 该方法对超参数扰动具有鲁棒性，当在DDPG中引入Ctrl-Z后，所有环境中均观察到性能提升。
• Mann-Whitney假设检验变体在性能和稳定性方面始终优于其他统计检验方法。
• 阈值ρ对精确值不敏感，在较宽范围内均存在高性能设置，降低了调优负担。
• 该方法计算开销极低，适用于真实世界机器人应用，其中数据采集成本高昂。