[论文解读] Advances in Experience Replay

Tracy Wan, Neil Xu|arXiv (Cornell University)|May 15, 2018

Online Learning and Analytics被引用 3

一句话总结

本文研究了在多个 OpenAI Gym 环境中，将三种先进的经验回放技术——联合经验回放（CER）、优先级经验回放（PER）和事后经验回放（HER）——与 DQN 和 DDPG 算法结合的效果。结果表明，虽然 HER 在稀疏奖励环境（如 Pendulum-v0）中显著提升了学习效率，但将这三种技术全部结合并未在所有情况下持续优于基线方法，性能高度依赖于环境结构和训练稳定性。

ABSTRACT

This project combines recent advances in experience replay techniques, namely, Combined Experience Replay (CER), Prioritized Experience Replay (PER), and Hindsight Experience Replay (HER). We show the results of combinations of these techniques with DDPG and DQN methods. CER always adds the most recent experience to the batch. PER chooses which experiences should be replayed based on how beneficial they will be towards learning. HER learns from failure by substituting the desired goal with the achieved goal and recomputing the reward function. The effectiveness of combinations of these experience replay techniques is tested in a variety of OpenAI gym environments.

研究动机与目标

• 评估结合近期经验回放进展（CER、PER 和 HER）以提升深度强化学习中样本效率和学习稳定性的有效性。
• 评估这些技术协同整合是否能带来优于单一方法或标准经验回放的收敛性和性能优势。
• 测试组合经验回放方法在具有不同奖励稀疏性和动作空间类型的各种强化学习环境中的鲁棒性和泛化能力。
• 识别在 LunarLander-v2、MountainCar 和 Pendulum-v0 等基准环境上，哪些组合能显著提升训练速度和最终性能。
• 研究超参数敏感性和训练不稳定性对组合经验回放方法可靠性的影响。

提出的方法

• 结合 CER，确保最近的经验始终包含在训练批次中，以保持时间相关性。
• 整合 PER，优先回放具有高时序差分（TD）误差的过渡，以聚焦于信息量大的经验。
• 应用 HER，通过将原始目标替换为实际达成的目标并重新计算奖励，重新定义失败轨迹，从而实现从失败中学习。
• 在 DQN 和 DDPG 框架中实现组合方法，使用存储状态、动作、奖励、下一个状态和目标信息的回放缓冲区。
• 在 DDPG 中使用目标网络和软更新以稳定训练，同时应用批量归一化以处理状态和动作尺度的变化。
• 通过噪声注入实现探索，并在多个随机种子下评估性能，以衡量方差和稳定性。

实验结果

研究问题

• RQ1 与基线经验回放相比，结合 CER、PER 和 HER 是否能实现更快的收敛速度和更高的最终性能？
• RQ2 在稀疏奖励环境（如 MountainCar、Pendulum）与密集奖励环境（如 LunarLander）中，这些组合技术的表现如何？
• RQ3 在失败频繁的连续控制任务中，HER 的引入在多大程度上提升了学习效率？
• RQ4 优先级（PER）与事后学习（HER）的结合是否能放大学习效率，还是因采样目标冲突而相互干扰？
• RQ5 在多个训练运行和环境之间，组合经验回放的结果是否稳定且可复现？

主要发现

• 在 Pendulum-v0 环境中，HER 显著提升了学习速度和成功率，其中 CHER（CER + HER）仅用 500 个训练周期即实现收敛，优于其他组合。
• 在具有密集奖励的 LunarLander-v2 环境中，涉及 HER 和 PER 的方法表现劣于基线，表明这些方法在密集奖励设置中可能效果较差。
• 仅使用组合经验回放（CER）时，在 LunarLander 中的表现接近基线但未超越，表明在密集奖励环境中增量收益有限。
• MountainCar 的结果在各方法间差异极小，无明显优势，可能由于奖励极度稀疏且模型不稳定。
• DDPG 在多个环境中的训练极不稳定，尤其在 Pendulum-v0 中，尽管 HER 方法趋势良好，但严重限制了定量比较的可靠性。
• 将 HER 与 PER 和 CER 结合并未在所有环境中实现一致的性能提升，凸显了在多样化强化学习任务中泛化经验回放改进的挑战。