[论文解读] Greedification Operators for Policy Optimization: Investigating Forward and Reverse KL Divergences

Alan Chan, Hugo Silva+4 more|arXiv (Cornell University)|Jul 17, 2021

Reinforcement Learning in Robotics参考文献 90被引用 9

一句话总结

本文通过分析参数化策略与动作价值上的Boltzmann分布之间的前向KL散度和反向KL散度，研究了近似策略迭代中的贪心策略改进。结果表明，反向KL提供了更强的策略改进保证，而前向KL在未满足额外假设条件下可能降低性能；实验结果表明，前向KL虽能促进更多探索，但在连续控制任务中会导致次优策略。

ABSTRACT

Approximate Policy Iteration (API) algorithms alternate between (approximate) policy evaluation and (approximate) greedification. Many different approaches have been explored for approximate policy evaluation, but less is understood about approximate greedification and what choices guarantee policy improvement. In this work, we investigate approximate greedification when reducing the KL divergence between the parameterized policy and the Boltzmann distribution over action values. In particular, we investigate the difference between the forward and reverse KL divergences, with varying degrees of entropy regularization. We show that the reverse KL has stronger policy improvement guarantees, but that reducing the forward KL can result in a worse policy. We also demonstrate, however, that a large enough reduction of the forward KL can induce improvement under additional assumptions. Empirically, we show on simple continuous-action environments that the forward KL can induce more exploration, but at the cost of a more suboptimal policy. No significant differences were observed in the discrete-action setting or on a suite of benchmark problems. Throughout, we highlight that many policy gradient methods can be seen as an instance of API, with either the forward or reverse KL for the policy update, and discuss next steps for understanding and improving our policy optimization algorithms.

研究动机与目标

• 理解在策略优化中使用前向KL与反向KL散度进行近似贪心化时的理论与实证影响。
• 确定在何种条件下前向KL的减小可实现策略改进，以及在何种情况下可能导致性能下降。
• 比较在连续动作环境中，前向KL与反向KL在探索与性能之间的权衡。
• 阐明策略梯度方法与近似策略迭代之间的联系，特别是在基于KL的贪心化背景下。
• 为设计基于KL散度贪心化的更优策略优化算法，提供理论与实证指导。

提出的方法

• 作者将近似贪心化形式化为最小化参数化策略与动作价值上Boltzmann分布之间的KL散度。
• 将前向KL（D_F）与反向KL（D_R）散度均作为策略改进的优化目标进行分析。
• 理论分析推导出每种散度确保策略改进的条件，结果表明反向KL具有更强的保证。
• 在连续控制环境中通过参数化策略与价值函数近似进行实证评估。
• 研究在前向KL与反向KL最小化下，策略性能与探索行为的差异，包括是否加入熵正则化。
• 利用f-散度不等式推导理论边界，为扩展至其他散度（如Wasserstein或JS散度）提供可能。

实验结果

研究问题

• RQ1 最小化策略与Boltzmann分布之间的前向KL散度是否能保证策略改进？
• RQ2 在策略改进保证方面，反向KL与前向KL相比有何差异？
• RQ3 熵正则化对通过前向KL与反向KL优化的策略的行为与性能有何影响？
• RQ4 为何前向KL在连续动作任务中虽诱导更多探索，但最终性能更差？
• RQ5 在标准设定之外的额外假设下，前向KL最小化是否仍能实现策略改进？

主要发现

• 反向KL最小化在标准假设下提供了更强的理论保证，确保策略单调改进。
• 前向KL最小化可能导致策略退化，因其可能使策略趋向低熵、次优行为。
• 在足够大的前向KL减少下，仍可实现策略改进，但仅在额外假设（如动作价值估计有界）下成立。
• 在连续动作环境中，前向KL导致更多探索，但最终策略性能显著劣于反向KL。
• 在离散动作设置或标准基准环境中，前向KL与反向KL之间未观察到显著性能差异。
• 理论分析表明，反向KL更强的改进保证源于其对策略与目标分布之间支撑集不匹配的敏感性。