[论文解读] Equivalence Between Policy Gradients and Soft Q-Learning

John Schulman, Xi Chen+1 more|arXiv (Cornell University)|Apr 21, 2017

Reinforcement Learning in Robotics参考文献 11被引用 198

一句话总结

本文证明了熵正则化的Q学习（软Q学习）与策略梯度方法之间的精确等价，并将其与自然策略梯度联系起来，在Atari上的实验显示具有竞争力的表现。

ABSTRACT

Two of the leading approaches for model-free reinforcement learning are policy gradient methods and $Q$-learning methods. $Q$-learning methods can be effective and sample-efficient when they work, however, it is not well-understood why they work, since empirically, the $Q$-values they estimate are very inaccurate. A partial explanation may be that $Q$-learning methods are secretly implementing policy gradient updates: we show that there is a precise equivalence between $Q$-learning and policy gradient methods in the setting of entropy-regularized reinforcement learning, that "soft" (entropy-regularized) $Q$-learning is exactly equivalent to a policy gradient method. We also point out a connection between $Q$-learning methods and natural policy gradient methods. Experimentally, we explore the entropy-regularized versions of $Q$-learning and policy gradients, and we find them to perform as well as (or slightly better than) the standard variants on the Atari benchmark. We also show that the equivalence holds in practical settings by constructing a $Q$-learning method that closely matches the learning dynamics of A3C without using a target network or $ε$-greedy exploration schedule.

研究动机与目标

• 激发对为何Q学习方法在Q值不准确的情况下有时仍能表现良好的理解。
• 在熵正则化下，建立软Q学习与策略梯度方法在梯度层面的精确等价。
• 建立与自然策略梯度和如A3C这样的Actor-Critic框架之间的联系。
• 通过在Atari上的实验以及构建一个在不使用目标网络或ε-greedy探索的情况下模仿A3C动态的Q学习变体，来证明其实践有效性。

提出的方法

• 将带有KL散度惩罚项和玻尔兹曼策略的熵正则化RL进行形式化。
• 证明n步Q学习损失的梯度等于n步策略梯度损失的梯度再加上一个基线/误差项。
• 在熵正则化下推导玻尔兹曼备份和定策略备份算子。
• 通过对梯度更新的最小二乘解释，将软Q学习与自然策略梯度联系起来。
• 定义通过目标网络和n步备份来优化熵增强回报的软Q学习变体。
• 提供与Actor-Critic方法的实际联系，并讨论将KL惩罚项与传统熵奖励结合的方式。

实验结果

研究问题

• RQ1 是否可以在适当条件下证明熵正则化的软Q学习梯度与策略梯度更新完全相同？
• RQ2 熵正则化如何影响Q学习与策略梯度之间的关系，这是否能解释经验表现的相似之处？
• RQ3 软Q学习与自然策略梯度方法之间的联系是什么？
• RQ4 在像Atari这样的标准基准上，带熵正则化的方法是否具备竞争力，且是否可以使Q学习模拟A3C的动态？
• RQ5 是否存在将实际的Q学习变体复制成不使用目标网络或固定探索策略的Actor-Critic学习动态的可能？

主要发现

• 在熵正则化下，软Q学习梯度与策略梯度梯度之间存在精确等价。
• 软Q学习的梯度分解为一个策略梯度项加上一个基线-误差梯度项，类似于A3C等的Actor-Critic方法。
• 将带有重放/批量更新的Q学习与自然策略梯度方法之间建立联系。
• 在Atari的实验中，带熵正则化的Q学习和策略梯度版本的表现与标准变体相当甚至略好。
• 通过构建一个在没有目标网络或ε-greedy探索的情况下，Q学习方法能够与A3C学习动态紧密匹配，从而在实践中验证了等价性。