[论文解读] An operator view of policy gradient methods

Dibya Ghosh, Marlos C. Machado+1 more|arXiv (Cornell University)|Jun 19, 2020

Reinforcement Learning in Robotics参考文献 23被引用 5

一句话总结

本文提出了一种基于算子的策略梯度（PG）方法框架，将PG方法视为策略改进算子与可实现策略空间上的投影算子的迭代应用。该框架统一了REINFORCE和PPO等PG方法，通过贝尔曼算子揭示了与值函数方法的联系，并推导出一个新的期望回报全局下界，从而提升了训练稳定性与可解释性。

ABSTRACT

We cast policy gradient methods as the repeated application of two operators: a policy improvement operator $\mathcal{I}$, which maps any policy $π$ to a better one $\mathcal{I}π$, and a projection operator $\mathcal{P}$, which finds the best approximation of $\mathcal{I}π$ in the set of realizable policies. We use this framework to introduce operator-based versions of traditional policy gradient methods such as REINFORCE and PPO, which leads to a better understanding of their original counterparts. We also use the understanding we develop of the role of $\mathcal{I}$ and $\mathcal{P}$ to propose a new global lower bound of the expected return. This new perspective allows us to further bridge the gap between policy-based and value-based methods, showing how REINFORCE and the Bellman optimality operator, for example, can be seen as two sides of the same coin.

研究动机与目标

• 开发一种统一的基于算子的策略梯度方法视角，以阐明其训练动态及其与值函数方法的关联。
• 将策略梯度更新形式化为对策略改进算子与受限策略类上投影算子的重复应用。
• 推导出一个关于期望回报的新全局下界，提供一种有原则的保守策略改进替代方案，并改善收敛行为。
• 建立基于策略与基于值的方法之间的理论联系，表明在该框架下，REINFORCE与贝尔曼最优算子是同一枚硬币的两面。
• 为PG方法中常见的设计选择（如熵正则化、奖励指数化、基于α-散度的行为克隆）提供新的理论洞察。

提出的方法

• 定义一个策略改进算子 𝒫，将任意策略 π 映射到一个更优策略 𝒫π，确保其具有严格更高的期望回报。
• 引入一个投影算子 ℙ，用于在受限的可实现策略类中寻找改进后策略的最佳近似。
• 将经典的PG方法（如REINFORCE和PPO）重新表述为改进算子与投影算子的交替应用。
• 基于状态-动作形式与α-散度，推导出一个新的期望回报全局下界，该下界惩罚的是与改进后策略的偏离，而非原始策略。
• 在算子框架下建立REINFORCE更新与贝尔曼最优算子之间的等价性，表明二者代表了同一优化过程，仅参数化方式不同。
• 利用算子框架解释熵正则化与奖励指数化等实践，作为增强策略改进与方差的机制，从而实现更稳定的更新。

实验结果

研究问题

• RQ1 如何系统地将策略梯度方法视为两个基本算子——改进与投影——的重复应用？
• RQ2 策略梯度方法与值函数方法（如Q-learning）之间存在何种理论关系，特别是在算子等价性方面？
• RQ3 能否推导出一个关于期望回报的新全局下界，使其优于保守策略改进方法，并更好地捕捉训练动态？
• RQ4 PG方法中常见的设计选择（如熵正则化、奖励指数化、代理目标）如何融入此算子框架？
• RQ5 该算子框架能否用于统一或重新解释现有算法（如PPO、MPO及基于α-散度的模仿学习方法）？

主要发现

• 策略梯度方法可系统地视为在受限策略类上对策略改进算子与投影算子的交替应用，为分析提供了统一框架。
• 在算子框架下，REINFORCE算法被证明与贝尔曼最优算子等价，揭示了基于策略与基于值的方法之间深层联系。
• 基于α-散度推导出一个新的期望回报全局下界，该下界惩罚与改进策略的偏离，避免了传统代理目标的保守性。
• 熵正则化被证明可增加回报的方差，从而保证更大的策略改进，解释了其在稳定训练中的有效性。
• 即使仅执行一次指向完整投影算子的梯度步，也能保证策略改进，为部分投影策略提供了理论依据。
• 如MPO中所用的奖励指数化，仍可构成有效的策略改进算子，解释了其在实践中取得成功的原因。