[论文解读] AMBER: Adaptive Multi-Batch Experience Replay for Continuous Action Control

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|Oct 12, 2017

Reinforcement Learning in Robotics参考文献 14被引用 5

一句话总结

本文提出AMBER，一种用于连续控制任务中近端策略优化（PPO）的自适应多批次经验回放方法。通过基于平均重要性采样（IS）权重动态选择过去策略批次，并使用预计算的优势和值，AMBER提升了样本效率并降低了梯度方差，从而在多个MuJoCo和OpenAI Gym环境中实现了比标准PPO更快、更稳定的训练。

ABSTRACT

In this paper, a new adaptive multi-batch experience replay scheme is proposed for proximal policy optimization (PPO) for continuous action control. On the contrary to original PPO, the proposed scheme uses the batch samples of past policies as well as the current policy for the update for the next policy, where the number of the used past batches is adaptively determined based on the oldness of the past batches measured by the average importance sampling (IS) weight. The new algorithm constructed by combining PPO with the proposed multi-batch experience replay scheme maintains the advantages of original PPO such as random mini-batch sampling and small bias due to low IS weights by storing the pre-computed advantages and values and adaptively determining the mini-batch size. Numerical results show that the proposed method significantly increases the speed and stability of convergence on various continuous control tasks compared to original PPO.

研究动机与目标

• 为解决标准PPO在连续控制中样本效率有限和训练不稳定的问题，通过重用过去策略经验来改进。
• 克服在基于重要性采样（IS）的策略梯度方法中回放旧经验时IS权重方差过高的挑战。
• 在保持PPO低偏差和随机小批量采样优势的同时，实现有效的经验回放。
• 开发一种自适应机制，仅根据IS权重衰减选择相关性高的过去批次，避免使用过时或高方差的样本。
• 在无需手动调整回放缓冲区大小或裁剪超参数的情况下，提升收敛速度与稳定性。

提出的方法

• AMBER使用一个回放缓冲区，存储过去策略更新的预计算优势和值，实现无需重新计算的高效回放。
• 它根据平均IS权重，自适应地为每次更新选择一组过去策略批次，IS权重衡量了批次的‘旧度’。
• 通过随时间线性衰减的批次删除因子，动态调整活跃过去批次的数量，以移除过时样本。
• 从当前和活跃过去策略经验的合并集合中随机抽取小批量样本，降低样本相关性并提升梯度稳定性。
• 通过在IS权重比率上应用裁剪，将该方法与PPO集成，从而保持低偏差和稳定优化。
• 通过随活跃批次数量增加而缩放小批量大小，算法在每次迭代中保持固定的更新次数。

实验结果

研究问题

• RQ1 能否在不因IS权重过大导致高方差的情况下，有效将经验回放应用于基于IS的策略梯度方法（如PPO）？
• RQ2 如何自适应地选择过去策略批次，以在最大化样本效率的同时最小化偏差和方差？
• RQ3 与基于回合的采样相比，从多批次回放缓冲区中进行随机小批量采样是否能降低样本相关性并提升训练稳定性？
• RQ4 一种用于丢弃旧批次的自适应机制是否能提升性能，而无需手动调整回放缓冲区大小？
• RQ5 在连续控制任务中，与标准PPO及其他PG方法（如TRPO、ACER）相比，所提方法在收敛速度和最终性能方面表现如何？

主要发现

• 当 $\epsilon_b = 0.25$ 时，PPO-AMBER 自动选择最优的活跃批次数量（1至8个），消除了手动调整回放缓冲区大小的需要。
• 在所有测试环境（包括HalfCheetah、Pendulum、Swimmer和Humanoid）中，PPO-AMBER均实现了显著更快且更稳定的收敛，优于标准PPO。
• 在Swimmer等任务中，PPO与PPO-AMBER的性能差距最为明显：PPO因高方差导致训练不稳定，而PPO-AMBER通过平均更多样本提升了鲁棒性。
• 从多批次回放缓冲区中进行随机小批量采样优于基于回合的小批量采样，证实了降低样本相关性可增强学习效果。
• PPO-AMBER在最终性能和训练稳定性方面均优于TRPO和ACER，证明了其在连续控制任务中的有效性。
• 该方法在低动作维度任务中效果最佳；在Humanoid等高维任务中，性能增益减弱，原因在于IS权重增大，表明可能需要更小的学习率或任务特定调整。