[论文解读] Multi-Batch Experience Replay for Fast Convergence of Continuous Action Control.

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|Oct 12, 2017

Reinforcement Learning in Robotics参考文献 12被引用 5

一句话总结

本文提出了一种用于连续控制任务中离策略演员-评论家强化学习的多批次经验回放方法，提升了样本效率并加速了类似PPO算法的收敛速度，同时未引入显著偏差。该方法在多个连续控制环境中均提升了学习速度与最终性能。

ABSTRACT

Policy gradient methods for direct policy optimization are widely considered to obtain optimal policies in continuous Markov decision process (MDP) environments. However, policy gradient methods require exponentially many samples as the dimension of the action space increases. Thus, off-policy learning with experience replay is proposed to enable the agent to learn by using samples of other policies. Generally, large replay memories are preferred to minimize the sample correlation but large replay memories can yield large bias or variance in importance-sampling-based off-policy learning. In this paper, we propose a multi batch experience replay scheme suitable for off-policy actor-critic-style policy gradient methods such as the proximal policy optimization (PPO) algorithm, which maintains the advantages of experience replay and accelerates learning without causing large bias. To demonstrate the superiority of the proposed method, we apply the proposed experience replay scheme to the PPO algorithm and various continuous control tasks. Numerical results show that our algorithm converges faster and closer to the global optimum than other policy gradient methods.

研究动机与目标

• 解决高维连续动作空间下策略梯度方法收敛缓慢的挑战。
• 在离策略学习中减少经验回放的样本相关性，同时避免重要性采样引入的较大偏差。
• 在不损害策略优化稳定性的情况下，加速离策略演员-评论家方法（如PPO）的学习过程。
• 在保持大容量经验回放缓冲区优势的同时，最小化离策略更新中的方差与偏差。

提出的方法

• 该方法提出一种多批次经验回放机制，将经验转移组织为批次，以实现更高效的采样与训练。
• 通过重用多个历史策略的经验转移，实现离策略学习，提升数据效率。
• 该方法维持大容量经验回放缓冲区以减少样本相关性，但通过分批结构保持时间一致性，避免偏差。
• 该方法被集成到PPO算法中，利用重要性采样实现稳定且高效的策略更新，同时降低方差。
• 基于批次的回放结构使得每次策略更新时能更有效地利用经验数据，从而加速收敛。

实验结果

研究问题

• RQ1 多批次经验回放机制是否能提升连续控制任务中的学习收敛速度？
• RQ2 与标准经验回放相比，所提出方法是否能减少重要性采样中的偏差与方差？
• RQ3 在最终策略性能与样本效率方面，多批次方法相较于传统回放有何表现？
• RQ4 该方法能否在不破坏训练稳定性的前提下有效集成到PPO中？

主要发现

• 与标准经验回放及其他策略梯度基线方法相比，所提出方法在连续控制任务中实现了更快的收敛速度。
• 该算法收敛结果更接近全局最优解，表明其优化稳定性得到提升。
• 多批次设计有效减少了样本相关性，同时在重要性采样中保持了较低偏差。
• 在多个连续控制环境中的实证结果表明，该方法在所有测试任务中均表现出一致的性能提升。