[论文解读] Experience Replay Optimization

Daochen Zha, Kwei-Herng Lai+2 more|arXiv (Cornell University)|Jun 19, 2019

Reinforcement Learning in Robotics参考文献 29被引用 16

一句话总结

本文提出了经验回放优化（ERO），一种通过学习回放策略从回放缓冲区中选择最有用经验的框架，从而在离策略强化学习中提升样本效率。通过交替优化智能体策略与回放策略，并利用累积奖励反馈，ERO在8个连续控制任务中均优于均匀采样和基于规则的回放策略。

ABSTRACT

Experience replay enables reinforcement learning agents to memorize and reuse past experiences, just as humans replay memories for the situation at hand. Contemporary off-policy algorithms either replay past experiences uniformly or utilize a rule-based replay strategy, which may be sub-optimal. In this work, we consider learning a replay policy to optimize the cumulative reward. Replay learning is challenging because the replay memory is noisy and large, and the cumulative reward is unstable. To address these issues, we propose a novel experience replay optimization (ERO) framework which alternately updates two policies: the agent policy, and the replay policy. The agent is updated to maximize the cumulative reward based on the replayed data, while the replay policy is updated to provide the agent with the most useful experiences. The conducted experiments on various continuous control tasks demonstrate the effectiveness of ERO, empirically showing promise in experience replay learning to improve the performance of off-policy reinforcement learning algorithms.

研究动机与目标

• 解决均匀采样和基于规则的经验回放策略在离策略强化学习中性能不佳的问题。
• 将经验回放建模为一个学习问题，以从嘈杂且庞大的回放缓冲区中动态选择最有用的经验。
• 提出一个通用框架，通过交替优化智能体策略与回放策略以最大化累积奖励。
• 通过自适应回放策略学习，提升如DDPG等离策略算法的样本效率与学习稳定性。
• 探究基于学习的回放策略是否能在连续控制任务中超越优先经验回放（PER）等启发式策略。

提出的方法

• 提出一种双策略框架，交替更新智能体策略与回放策略。
• 在回放缓冲区的转移上维护一个优先级向量，以高效地采样子集经验进行回放。
• 基于回放经验带来的累积奖励提升来更新回放策略，采用策略梯度方法。
• 利用智能体在回放数据上的表现作为反馈信号，以优化回放策略。
• 将ERO框架具体应用于DDPG算法，将回放策略学习集成到离策略训练循环中。
• 利用环境反馈（累积奖励）作为信号，引导回放策略学习，使其能够适应特定任务的动力学特性。

实验结果

研究问题

• RQ1 基于学习的回放策略是否能在提升离策略强化学习的样本效率方面优于均匀采样和基于规则的回放策略？
• RQ2 ERO在连续控制任务中的性能与标准DDPG和优先经验回放（PER）相比如何？
• RQ3 所学习的回放策略优先考虑哪些特征（如TD误差、奖励、时效性）？这些特征在不同任务中如何变化？
• RQ4 回放策略是否倾向于选择近期或高奖励的转移？这对学习稳定性和收敛性有何影响？
• RQ5 回放策略能否适应不同任务与算法？其在环境噪声和缓冲区大小变化下是否具有鲁棒性？

主要发现

• 与Vanilla-DDPG和基于规则的策略相比，ERO在OpenAI Gym的8个连续控制任务中持续提升了样本效率与累积奖励。
• ERO中所学习的回放策略倾向于选择TD误差较低和较新的经验，表明其优先选择理解充分且更新及时的转移，而非高TD误差的转移。
• 尽管优先选择高TD误差转移（如PER中所采用）在理论上具有吸引力，但ERO的性能表明此类启发式策略可能缺乏泛化能力，在实践中可能表现欠佳。
• 随着训练的推进，回放策略逐渐倾向于采样更近期且更高奖励的转移，这与直观的学习动态一致。
• 在所评估的任务中，基于PER的方法在DDPG上表现不尽如人意，表明基于规则的优先化策略在所有算法或环境中未必有效。
• 实证结果验证了：基于累积奖励反馈学习回放策略，相比静态启发式方法，能实现更有效的经验重用。