[论文解读] Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO

Logan Engstrom, Andrew Ilyas+5 more|arXiv (Cornell University)|May 25, 2020

Reinforcement Learning in Robotics参考文献 16被引用 137

一句话总结

本文进行深入的消融研究，表明 PPO 的代码级优化—not 仅仅是其剪切机制—推动其相对于 TRPO 的性能，并且从根本上改变策略梯度方法中信赖域的运作方式。

ABSTRACT

We study the roots of algorithmic progress in deep policy gradient algorithms through a case study on two popular algorithms: Proximal Policy Optimization (PPO) and Trust Region Policy Optimization (TRPO). Specifically, we investigate the consequences of "code-level optimizations:" algorithm augmentations found only in implementations or described as auxiliary details to the core algorithm. Seemingly of secondary importance, such optimizations turn out to have a major impact on agent behavior. Our results show that they (a) are responsible for most of PPO's gain in cumulative reward over TRPO, and (b) fundamentally change how RL methods function. These insights show the difficulty and importance of attributing performance gains in deep reinforcement learning. Code for reproducing our results is available at https://github.com/MadryLab/implementation-matters .

研究动机与目标

• 评估深度策略梯度方法中各组成部分对智能体训练与性能的影响。
• 识别在 PPO 中导致相对于 TRPO 的性能提升的代码级优化。
• 通过理解每个组成部分对最终奖励和训练动态的影响，推动模块化设计。

提出的方法

• 通过消融研究比较带有与不带有代码级优化的 TRPO 与 PPO 实现。
• 引入 PPO-M（无代码级优化的 PPO）和 TRPO+（带有类似 PPO 的优化的 TRPO），以 isolat 效应。
• 在 MuJoCo 任务上进行评估（如 Walker2d-v2、Hopper-v2、Humanoid-v2），使用多次随机种子和超参数网格。
• 衡量最终奖励、逐步指标以及信赖区域指标（KL 散度和比率约束）。
• 定义 AAI 与 ACLI 指标，以量化算法选择相对于代码级优化的相对影响。

实验结果

研究问题

• RQ1 在相对于 TRPO 的情况下，PPO 的代码级优化如何影响最终性能？
• RQ2 代码级优化是否会超出剪切机制的提示，改变 PPO 的信赖区域行为？
• RQ3 在不同任务中，核心算法选择与代码级优化对智能体性能的相对贡献是多少？

主要发现

• 代码级优化在 PPO 相对于 TRPO 的性能提升中占有相当大的一部分。
• PPO 与 PPO-M 的差异主要在于优化如何塑造信赖区域，而不仅仅在剪切机制上。
• 代码级优化显著影响超参数下的奖励景观，有时甚至比在 PPO 与 TRPO 之间切换更大。
• 当配合足够的代码级优化时，PPO-NoClip 可以达到与 PPO 相同的性能，表明剪切并非始终不可或缺。
• TRPO+ 与 PPO-M 表明在大多数任务中，优化可以超过核心算法选择的影响力。