[论文解读] An Adaptive Clipping Approach for Proximal Policy Optimization

Gang Chen, Yiming Peng+1 more|arXiv (Cornell University)|Apr 17, 2018

Reinforcement Learning in Robotics参考文献 23被引用 25

一句话总结

本文提出 PPO-λ，一种用于近端策略优化（PPO）的自适应裁剪机制，通过可学习超参数 λ 动态调整基于状态重要性的策略更新。通过构建状态级别的约束优化问题并推导出自适应策略改进的理论目标，PPO-λ 在 Atari 游戏和基准控制任务中实现了比 PPO 更高的样本效率和性能，且在最终性能上持续提升，学习速度更快。

ABSTRACT

Very recently proximal policy optimization (PPO) algorithms have been proposed as first-order optimization methods for effective reinforcement learning. While PPO is inspired by the same learning theory that justifies trust region policy optimization (TRPO), PPO substantially simplifies algorithm design and improves data efficiency by performing multiple epochs of \emph{clipped policy optimization} from sampled data. Although clipping in PPO stands for an important new mechanism for efficient and reliable policy update, it may fail to adaptively improve learning performance in accordance with the importance of each sampled state. To address this issue, a new surrogate learning objective featuring an adaptive clipping mechanism is proposed in this paper, enabling us to develop a new algorithm, known as PPO-$λ$. PPO-$λ$ optimizes policies repeatedly based on a theoretical target for adaptive policy improvement. Meanwhile, destructively large policy update can be effectively prevented through both clipping and adaptive control of a hyperparameter $λ$ in PPO-$λ$, ensuring high learning reliability. PPO-$λ$ enjoys the same simple and efficient design as PPO. Empirically on several Atari game playing tasks and benchmark control tasks, PPO-$λ$ also achieved clearly better performance than PPO.

研究动机与目标

• 解决 PPO 中固定裁剪的局限性，即重复策略更新无法自适应地优先处理更重要的状态。
• 通过基于重要性的状态特定自适应策略更新，提升学习的可靠性和性能。
• 提出一种新的代理学习目标，引入由超参数 λ 控制的自适应裁剪。
• 在保持 PPO 简洁性和效率的同时，增强其在训练过程中处理高影响力状态的能力。
• 通过实证结果证明，自适应机制相较于标准 PPO 能够实现更优的样本效率和最终性能。

提出的方法

• 在个体状态级别构建受约束的策略学习问题，受 TRPO 理论基础的启发。
• 将状态级别的优化问题转化为拉格朗日函数，并推导其驻点，以获得自适应策略改进的理论目标。
• 提出一种新的代理学习目标，利用超参数 λ 控制每种状态的更新幅度，实现自适应裁剪。
• 将 λ 整合到策略更新过程中，根据每个采样状态的重要性动态缩放更新。
• 通过结合裁剪与基于 λ 的自适应控制确保稳定性，防止破坏性策略更新。
• 将 PPO-λ 实现为 PPO 的简单高效扩展，兼容现有的深度强化学习框架和训练流程。

实验结果

研究问题

• RQ1 基于状态重要性的自适应裁剪能否提升 PPO 的样本效率？
• RQ2 通过 λ 动态调整策略更新幅度，对复杂强化学习任务的学习性能有何影响？
• RQ3 PPO-λ 在多样化环境中是否在最终性能和学习速度上均优于标准 PPO？
• RQ4 自适应机制能否防止在不重要状态上的过度更新，同时提升在关键状态上的学习效果？
• RQ5 λ 与学习动态之间存在何种关系？该关系是否可用于提升稳定性和收敛性？

主要发现

• 在六款 Atari 游戏中的五款，PPO-λ 的最终性能显著优于 PPO，包括 BankHeist（+11.4% 提升）、Boxing（+19.3%）、Freeway（+15.8%）、Pong（+8.1%）和 Seaquest（+8.9%）。
• 在 Hopper 和 Walker2D 控制任务中，PPO-λ 分别以 0.9% 和 14.4% 的提升优于 PPO，且在训练初期表现出更快的学习曲线。
• 在样本效率方面，PPO-λ 在六款 Atari 游戏中的五款以及四款基准控制任务中的两款中表现更优，且在快速学习和最终性能指标上均呈现一致提升。
• 在 Enduro 游戏中，PPO-λ 与 PPO 性能相当，表明在各类环境中学习稳定性未出现退化。
• 图 3 和图 4 的学习曲线显示，PPO-λ 从训练初期起就在 Boxing 和 Freeway 等游戏中持续优于 PPO，且性能差距随时间扩大。
• 实证结果证实，PPO-λ 通过 λ 的自适应控制保持了高水平的学习可靠性，有效防止了破坏性策略更新，同时显著增强了在高影响力状态上的学习效果。