[论文解读] A short variational proof of equivalence between policy gradients and soft Q learning

Pierre H. Richemond, Brendan Maginnis|arXiv (Cornell University)|Dec 22, 2017

Reinforcement Learning in Robotics参考文献 12被引用 3

一句话总结

本文通过凸对偶性与Gibbs/Donsker-Varadhan公式，以简洁的变分法证明了软Q-learning与softmax策略梯度之间的等价性。研究揭示了熵正则化与softmax松弛是双重视角，实现了更简练的推导，并提出了一项新的策略不等式，将最优性差距与最优策略的KL散度关联起来。

ABSTRACT

Two main families of reinforcement learning algorithms, Q-learning and policy gradients, have recently been proven to be equivalent when using a softmax relaxation on one part, and an entropic regularization on the other. We relate this result to the well-known convex duality of Shannon entropy and the softmax function. Such a result is also known as the Donsker-Varadhan formula. This provides a short proof of the equivalence. We then interpret this duality further, and use ideas of convex analysis to prove a new policy inequality relative to soft Q-learning.

研究动机与目标

• 通过凸对偶性，提供软Q-learning与softmax策略梯度之间等价性的更短、更具洞察力的证明。
• 阐明熵正则化与softmax松弛在统一强化学习两种范式中的根本作用。
• 推导出一项新的策略不等式，以最优策略的KL散度为条件，对期望最优性差距进行上界估计。
• 将理论上的等价性与凸分析及大偏差理论中的经典结果相联系。
• 为未来研究凸优化算法与强化学习方法之间的对偶性奠定基础。

提出的方法

• 利用Gibbs变分原理，将自由能泛函表示为熵泛函的共轭凸函数。
• 应用Donsker-Varadhan公式，将最优策略值表示为奖励在Gibbs测度下的对数分母函数。
• 运用Legendre-Fenchel对偶性，在单步老虎机设置中推导出软Q-learning与策略梯度之间的等价性。
• 引入一项运输不等式，将期望奖励差距与策略间的KL散度关联起来。
• 通过凸函数的Legendre变换的逆，推导出一个通用不等式，将奖励差异与KL散度联系起来。
• 将对偶框架应用于参数化softmax策略，表明最优策略与参数化策略之间的KL散度与该策略下期望Q值与期望奖励之差成正比。

实验结果

研究问题

• RQ1 如何利用凸对偶性，提供软Q-learning与策略梯度之间等价性的更短、更具洞察力的证明？
• RQ2 在强化学习背景下，熵正则化与softmax松弛之间存在何种精确的数学关系？
• RQ3 能否推导出一项新的策略不等式，利用最优策略的KL散度对最优性差距进行上界估计？
• RQ4 Donsker-Varadhan变分公式如何统一处理强化学习中的熵与期望？
• RQ5 这种对偶性对设计方差缩减技术或强化学习中的新型优化算法有何启示？

主要发现

• 通过Gibbs变分原理与凸对偶性，严格建立了软Q-learning与softmax策略梯度之间的等价性，其证明长度显著短于以往工作。
• Donsker-Varadhan公式为自由能泛函提供了变分表示，使得在老虎机设置下可直接推导出等价性。
• 推导出一项新的策略不等式：任意策略与最优策略之间的期望奖励差距，被凸函数的逆Legendre变换作用于最优策略的KL散度所上界控制。
• 证明了最优策略与参数化策略之间的KL散度与该策略下期望Q值与期望奖励之差成正比。
• 该框架允许在实践中采用不同的softmax温度，从而通过经验矩生成函数灵活估计上界。
• 结果揭示了凸优化、大偏差理论与强化学习之间深层联系，为提升蒙特卡洛估计器的样本效率与方差控制开辟了新途径。