[论文解读] PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay

Xingxing Liang, Yang Ma+2 more|arXiv (Cornell University)|Dec 7, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出PTR-PPO，一种新型的近端策略优化算法，通过将优先级轨迹回放整合到在线学习训练中，提升了样本效率。通过基于GAE值和累积奖励对轨迹进行优先排序，并使用截断重要性权重以稳定离线更新，PTR-PPO在Atari游戏上实现了最先进性能，优于标准PPO和现有离线基线方法。

ABSTRACT

On-policy deep reinforcement learning algorithms have low data utilization and require significant experience for policy improvement. This paper proposes a proximal policy optimization algorithm with prioritized trajectory replay (PTR-PPO) that combines on-policy and off-policy methods to improve sampling efficiency by prioritizing the replay of trajectories generated by old policies. We first design three trajectory priorities based on the characteristics of trajectories: the first two being max and mean trajectory priorities based on one-step empirical generalized advantage estimation (GAE) values and the last being reward trajectory priorities based on normalized undiscounted cumulative reward. Then, we incorporate the prioritized trajectory replay into the PPO algorithm, propose a truncated importance weight method to overcome the high variance caused by large importance weights under multistep experience, and design a policy improvement loss function for PPO under off-policy conditions. We evaluate the performance of PTR-PPO in a set of Atari discrete control tasks, achieving state-of-the-art performance. In addition, by analyzing the heatmap of priority changes at various locations in the priority memory during training, we find that memory size and rollout length can have a significant impact on the distribution of trajectory priorities and, hence, on the performance of the algorithm.

研究动机与目标

• 提升在线深度强化学习中的样本效率，该方法通常面临数据利用率低和数据需求量大的问题。
• 通过优先选择具有更高学习潜力的轨迹，解决稀疏奖励环境中均匀经验回放的低效问题。
• 在不损害策略更新稳定性的前提下，将离线回放机制整合到在线PPO中。
• 设计一种稳健的损失函数，用于离线PPO训练，以缓解重要性采样带来的高方差问题。
• 研究记忆大小和 rollout 长度对轨迹优先级分布及算法性能的影响。

提出的方法

• 定义三种轨迹优先级度量：基于最大和平均GAE的优先级，以及基于归一化非折扣累积奖励的优先级。
• 使用基于最小堆（sumtree）的优先记忆存储轨迹，实现高效的优先采样。
• 提出一种截断重要性权重估计方法，以减少多步经验下离线更新中的方差。
• 设计一种改进的PPO损失函数，将截断重要性权重融入其中，以在离线设置下实现稳定的策略提升。
• 采用学习者-执行者架构，其中执行者生成轨迹、计算优先级并将它们存入优先记忆，而学习者使用采样的轨迹更新策略。
• 通过热力图分析轨迹优先级动态，研究记忆大小和 rollout 长度对优先级分布和学习效率的影响。

实验结果

研究问题

• RQ1 优先级轨迹回放在在线PPO训练中如何提升样本效率？
• RQ2 在在线DRL中引导回放时，哪些轨迹优先级度量最为有效？
• RQ3 在使用优先级回放时，截断重要性权重能否有效降低离线PPO更新中的方差？
• RQ4 记忆大小和 rollout 长度等超参数如何影响轨迹优先级分布及整体学习性能？
• RQ5 结合优先级回放的混合在线/离线方法能否在标准Atari基准上实现最先进性能？

主要发现

• PTR-PPO在一组Atari离散控制任务上实现了最先进性能，优于标准PPO和现有离线基线方法。
• 使用基于GAE和基于奖励的轨迹优先级时，算法表现出更快的学习速度和更高的最终性能，最佳结果在记忆大小为256时取得。
• 热力图分析显示，记忆大小显著影响优先级区分度：记忆大小为256时，优先级多样性与性能达到最优，而较小的记忆大小（如32）会导致少数轨迹被过度采样。
• rollout长度对学习动态有显著影响；长度为8时性能最佳，16次之，4最差，原因在于优先级区分度不足。
• 轨迹优先级分布随时间演变，热力图中清晰的分界点对应于不同的学习阶段（如爬升阶段与平台阶段），表明优先级动态反映了学习进展。
• 当rollout长度为8时，基于奖励的优先级度量表现出最有利的优先级区分度，表明该配置在轨迹重要性和多样性之间实现了最佳平衡。