[论文解读] Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality

Woon Sang Cho, Mengdi Wang|arXiv (Cornell University)|Dec 7, 2017

Reinforcement Learning in Robotics参考文献 14被引用 7

一句话总结

本文提出深度原始-对偶强化学习，一种新颖的演员-critic方法，通过正则化拉格朗日形式化利用贝尔曼对偶性，将价值和策略更新耦合。通过将优势函数作为惩罚项引入，该方法稳定了训练过程，并在收敛速度上优于标准的一步时序差分演员-critic方法，在倒立杆环境实验中表现出更低的样本复杂度。

ABSTRACT

We develop a parameterized Primal-Dual $π$ Learning method based on deep neural networks for Markov decision process with large state space and off-policy reinforcement learning. In contrast to the popular Q-learning and actor-critic methods that are based on successive approximations to the nonlinear Bellman equation, our method makes primal-dual updates to the policy and value functions utilizing the fundamental linear Bellman duality. Naive parametrization of the primal-dual $π$ learning method using deep neural networks would encounter two major challenges: (1) each update requires computing a probability distribution over the state space and is intractable; (2) the iterates are unstable since the parameterized Lagrangian function is no longer linear. We address these challenges by proposing a relaxed Lagrangian formulation with a regularization penalty using the advantage function. We show that the dual policy update step in our method is equivalent to the policy gradient update in the actor-critic method in some special case, while the value updates differ substantially. The main advantage of the primal-dual $π$ learning method lies in that the value and policy updates are closely coupled together using the Bellman duality and therefore more informative. Experiments on a simple cart-pole problem show that the algorithm significantly outperforms the one-step temporal-difference actor-critic method, which is the most relevant benchmark method to compare with. We believe that the primal-dual updates to the value and policy functions would expedite the learning process. The proposed methods might open a door to more efficient algorithms and sharper theoretical analysis.

研究动机与目标

• 解决在函数逼近下大型马尔可夫决策过程中的直接深度原始-对偶学习的不稳定性与不可行性。
• 利用贝尔曼对偶性，实现价值与策略更新的更紧密耦合，提升学习效率。
• 通过引入基于优势函数的正则化惩罚项，稳定参数化原始-对偶更新。
• 证明在特定条件下，对偶策略更新等价于标准策略梯度，从而支持实际实现。
• 通过基于当前策略行为条件化价值更新，而非独立估计，提升样本效率。

提出的方法

• 提出一种松弛的拉格朗日形式化，引入与优势函数平方成比例的正则化惩罚项，以稳定训练。
• 采用极小化-极大化优化框架，基于贝尔曼对偶性，通过原始-对偶步骤联合更新价值与策略参数。
• 将优势函数 $ A_{\theta_v}(s,a) $ 作为正则化拉格朗日中的关键组件，以维持稳定性和提升收敛性。
• 推导出在平稳分布下数学上等价于标准策略梯度更新的策略更新方式，从而实现无需估计 $ \alpha $ 的在线学习。
• 对正则化拉格朗日函数应用随机梯度下降，利用在线经验以耦合方式更新价值与策略网络。
• 在训练过程中，使用一步时序差分误差 $ \delta_{\theta_v}(s,a) $ 作为优势函数的有偏估计。

实验结果

研究问题

• RQ1 基于贝尔曼对偶性的原始-对偶方法能否有效适配具有大状态空间的深度强化学习？
• RQ2 在深度强化学习中，如何缓解参数化原始-对偶更新的非凸性与不稳定性？
• RQ3 通过贝尔曼对偶性耦合价值与策略更新，是否能实现比标准演员-critic方法更快的收敛速度？
• RQ4 在适当条件下，所提方法中的对偶策略更新是否等价于标准策略梯度？
• RQ5 基于当前策略行为条件化价值更新，是否能提升样本效率？

主要发现

• 尽管累积奖励的方差略高，所提方法相比一步时序差分演员-critic基线显著降低了样本复杂度。
• 在使用平稳分布时，对偶形式中的策略梯度更新在数学上等价于标准策略梯度定理，验证了其理论基础。
• 由于贝尔曼对偶性，价值与策略更新更具信息量且耦合更紧密，从而实现更快的学习动态。
• 通过优势函数进行正则化，稳定了训练过程，防止了参数化原始-对偶更新的发散。
• 在倒立杆环境的实验表明，该算法比基准演员-critic方法收敛更快且样本更少。
• 该方法避免了对平稳分布 $ \alpha $ 的直接估计，从而实现无需昂贵计算的在线、在线策略学习。