[论文解读] Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization

Xiangxiang Chu|arXiv (Cornell University)|Jul 2, 2018

Machine Learning and ELM参考文献 21被引用 7

一句话总结

本文提出POP3D，一种新型策略优化算法，用惩罚点概率距离（penalized point probability distance）替代PPO的裁剪代理目标函数，后者是总方差差异平方的对称下界。POP3D稳定了训练过程，增强了探索能力，并在49款Atari游戏中实现了最先进性能——在最终得分上超越PPO，同时保持相似的学习速度和实现简便性。

ABSTRACT

As the most successful variant and improvement for Trust Region Policy Optimization (TRPO), proximal policy optimization (PPO) has been widely applied across various domains with several advantages: efficient data utilization, easy implementation, and good parallelism. In this paper, a first-order gradient reinforcement learning algorithm called Policy Optimization with Penalized Point Probability Distance (POP3D), which is a lower bound to the square of total variance divergence is proposed as another powerful variant. Firstly, we talk about the shortcomings of several commonly used algorithms, by which our method is partly motivated. Secondly, we address to overcome these shortcomings by applying POP3D. Thirdly, we dive into its mechanism from the perspective of solution manifold. Finally, we make quantitative comparisons among several state-of-the-art algorithms based on common benchmarks. Simulation results show that POP3D is highly competitive compared with PPO. Besides, our code is released in https://github.com/paperwithcode/pop3d.

研究动机与目标

• 解决PPO裁剪代理目标函数的局限性，特别是其对超参数调优的敏感性及次优探索问题。
• 克服TRPO变体中固定惩罚系数选择带来的挑战，从而提升在不同环境间的泛化能力。
• 设计一种对称的、下界代理目标函数，以更准确地逼近策略分布之间的真实差异。
• 通过引入新颖的惩罚项，增强探索能力，从而稳定训练并提升样本效率。
• 在离散控制（Atari）和连续控制（MuJoCo）环境中，与PPO相比展现具有竞争力的性能表现。

提出的方法

• 提出一种基于惩罚点概率距离的新代理目标函数，该函数是两个策略分布之间总方差差异平方的对称下界。
• 引入一种作为正则化项的惩罚项，稳定策略更新并促进探索，且无需固定惩罚系数。
• 使用一阶梯度方法将优化问题转化为无约束问题，实现高效且可扩展的训练。
• 采用广义优势估计（GAE）进行精确的价值函数近似，与PPO和TRPO保持一致。
• 在策略梯度框架中应用新目标函数，通过在期望回报上进行随机梯度上升来更新策略参数。
• 保持PPO的实际优势：实现简单、收敛速度快、并行性好，同时提升训练稳定性和性能表现。

实验结果

研究问题

• RQ1 与PPO的裁剪目标相比，对称且下界的代理目标是否能提升策略优化的稳定性和性能？
• RQ2 惩罚点概率距离是否能有效稳定训练并促进探索，而无需手动调节惩罚系数？
• RQ3 在Atari和MuJoCo基准测试中，POP3D与PPO及TRPO相比，在最终性能和样本效率方面表现如何？
• RQ4 POP3D在解决TRPO和PPO问题时，其内在机制（特别是解流形结构方面）是什么？
• RQ5 POP3D能否在固定超参数配置下，于所有Atari环境中均实现最先进性能？

主要发现

• 在7个MuJoCo环境中，POP3D在$Score_{100}$指标上优于PPO，最终得分差距明显。
• 在49款Atari游戏中，POP3D实现了最先进性能，在4000万帧后最终得分超越PPO，$Score_{100}$领先5场。
• POP3D在MuJoCo环境中表现具有竞争力，与PPO保持相同的学习速度和样本效率。
• 与TRPO变体相比，POP3D对惩罚系数选择的敏感性显著降低，无需针对不同环境进行调优。
• 定量结果表明，POP3D始终优于PPO中使用的固定KLD基线，证明了新惩罚项的优越性。
• 解流形分析显示，POP3D的目标函数隐式扩展了最优策略流形，与PPO的成功机制一致，但稳定性更优。