[论文解读] Gradient Informed Proximal Policy Optimization

Sanghyun Son, Laura Zheng+3 more|arXiv (Cornell University)|Dec 14, 2023

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种新型方法——梯度感知近端策略优化（GI-PPO），通过引入自适应的 $α$-策略，基于方差与偏差评估动态平衡不同可微环境中的解析梯度影响，将解析梯度整合进PPO框架。该方法在函数优化、物理仿真及存在偏差的交通控制环境中均优于基线模型，包括具有高维动力学特性的10车道跟驰车问题。

ABSTRACT

We introduce a novel policy learning method that integrates analytical gradients from differentiable environments with the Proximal Policy Optimization (PPO) algorithm. To incorporate analytical gradients into the PPO framework, we introduce the concept of an α-policy that stands as a locally superior policy. By adaptively modifying the α value, we can effectively manage the influence of analytical policy gradients during learning. To this end, we suggest metrics for assessing the variance and bias of analytical gradients, reducing dependence on these gradients when high variance or bias is detected. Our proposed approach outperforms baseline algorithms in various scenarios, such as function optimization, physics simulations, and traffic control environments. Our code can be found online: https://github.com/SonSang/gippo.

研究动机与目标

• 为解决在PPO等在线策略强化学习方法中难以直接获取似然比（LR）梯度以估计方差与偏差的问题。
• 开发一种方法，在解析梯度可靠（低方差与低偏差）时加以利用，而在其不可靠时减少其影响。
• 在具有混沌或部分可微动力学的环境中（如交通仿真），实现稳定且高性能的策略学习。
• 通过在PPO框架内引入对解析梯度的自评估机制，消除对昂贵的双重梯度估计（LR + RP）的需求。

提出的方法

• 引入 $α$-策略，实现标准PPO更新与基于解析梯度的更新之间的插值，其中 $α$ 根据梯度质量自适应调整。
• 提出指标，直接从环境动力学中估计解析梯度的方差与偏差，而无需计算LR梯度。
• 在PPO中使用代理损失函数以约束策略更新，确保稳定性的同时允许解析梯度的动态影响。
• 在可微环境（如物理仿真器和交通模型）中，使用时间反向传播（BPTT）计算解析梯度。
• 实时调整 $α$：当梯度为低方差与低偏差时增加其影响，当梯度不可靠时降低其影响。
• 在多个环境（包括函数优化、可微物理仿真及多车道交通控制）中验证该方法，并对不稳定轨迹实施早期终止。

(a) De Jong’s Function

实验结果

研究问题

• RQ1 能否在不依赖似然比梯度估计的前提下，有效且安全地将可微环境中的解析梯度整合进PPO框架？
• RQ2 在策略学习过程中，如何基于对解析梯度方差与偏差的估计，自适应地控制其影响？
• RQ3 所提出的GI-PPO方法是否在存在偏差或高方差解析梯度的环境中，优于标准PPO、仅使用RP以及LR+RP基线方法？
• RQ4 在因换道等离散事件导致解析梯度本身存在偏差的复杂现实类交通控制场景中，GI-PPO能否实现更优性能？
• RQ5 与现有梯度感知强化学习方法相比，该方法的计算成本如何？

主要发现

• GI-PPO在函数优化、可微物理仿真及多车道交通控制环境中，均优于标准PPO、仅使用RP以及LR+RP基线方法。
• 在10车道跟驰车问题中，尽管由于离散换道导致解析梯度存在偏差，GI-PPO仍实现了显著更高的累积奖励。
• 当解析梯度表现出高方差或高偏差时，该方法会降低对其依赖，表现为自适应 $α$ 值在这些条件下下降。
• GI-PPO在性能上优于LR+RP，且计算成本显著更低；如表2所示，所有交通设置下训练时间均比LR+RP缩短50%-60%。
• 通过动态平衡基于PPO的更新与梯度更新，该方法在混沌环境中保持了稳定学习，即使在解析梯度不可靠时也能避免发散。
• 实际运行时间显示GI-PPO效率较高：在10车道交通场景中，仅需533秒，而LR+RP需2103秒，同时性能更优。

(b) Ackley’s Function