[论文解读] Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization

Shicong Cen, Cheng Chen+3 more|arXiv (Cornell University)|Jul 13, 2020

Reinforcement Learning in Robotics参考文献 58被引用 41

一句话总结

本论文证明了在折扣学习的MDP中，熵正则化的自然策略梯度方法（softmax参数化）具有非渐近、线性（以及局部二次）收敛保证，并且对近似策略评估具有稳定性。

ABSTRACT

Natural policy gradient (NPG) methods are among the most widely used policy optimization algorithms in contemporary reinforcement learning. This class of methods is often applied in conjunction with entropy regularization -- an algorithmic scheme that encourages exploration -- and is closely related to soft policy iteration and trust region policy optimization. Despite the empirical success, the theoretical underpinnings for NPG methods remain limited even for the tabular setting. This paper develops $ extit{non-asymptotic}$ convergence guarantees for entropy-regularized NPG methods under softmax parameterization, focusing on discounted Markov decision processes (MDPs). Assuming access to exact policy evaluation, we demonstrate that the algorithm converges linearly -- or even quadratically once it enters a local region around the optimal policy -- when computing optimal value functions of the regularized MDP. Moreover, the algorithm is provably stable vis-à-vis inexactness of policy evaluation. Our convergence results accommodate a wide range of learning rates, and shed light upon the role of entropy regularization in enabling fast convergence.

研究动机与目标

• 在表格化的、带折扣的MDP中，激励并理解熵正则化的自然策略梯度（NPG）方法的理论性能。
• 为精确和近似策略评估建立非渐近收敛率。
• 表征熵正则化如何影响学习率下的收敛速度与稳定性。
• 展示快速收敛的潜力并与相关策略优化方法进行对比。

提出的方法

• 在 γ 折扣的 MDP 下研究带有 softmax 参数化的熵正则化 NPG。
• 推导策略空间中的精确更新规则，显示在正则化下与带有 Qτ 的 softmax 之间的闭式联系。
• 证明在 (0,(1−γ)/τ] 的任意学习率 η 下，针对精确策略评估的非渐近线性收敛。
• 推广到近似策略评估，证明稳定性以及与 Q 函数估计误差成正比的误差下界。
• 在小 ε 区间，当 η = (1−γ)/τ 时，展示二次收敛（超线性），进入局部区域后迭代次数呈 log log(1/ε) 的尺度。
• 讨论与 TRPO、SPI 及相关方法的比较，并提供一个带臂温热启动，展示线性收敛。

实验结果

研究问题

• RQ1 在带 softmax 参数化的表格化折扣 MDP 中，熵正则化是否能加速自然策略梯度方法的收敛？
• RQ2 对于精确和近似的熵正则化 NPG 方法，可以保证的非渐近收敛率（线性、二次）有哪些？
• RQ3 学习率和正则化参数如何相互作用，以在策略评估为精确或近似时影响收敛速度与稳定性？
• RQ4 熵正则化在迭代复杂度方面如何与现有方法如 SPI 和 TRPO 相关并改进？
• RQ5 近似 Q 函数精度对整体收敛和误差下界的影响是什么？

主要发现

• 在策略评估为精确时，带熵正则化的 NPG 对最优软 Q 函数和对数策略线性收敛。
• 对任意 η∈(0,(1−γ)/τ]，在正则化 MDP 中达到 ε 最优所需的迭代次数的尺度为 (1/(ητ)) log(1/ε)。
• 近似熵正则化 NPG 仍线性收敛，直到一个误差下界，该下界与软 Q 函数估计的逐项误差线性相关地增长。
• 在小 ε 区间，当 η = (1−γ)/τ 时，更新实现二次（超线性）收敛，进入局部区域后迭代复杂度达到大约 log log(1/ε)。
• 相比未正则化的 NPG（或 PG），熵正则化实现更快的收敛，并在表格化复杂度方面相对于以往工作存在差距。
• 带臂温暖启动演示了熵正则化 NPG 更新对 soft-max 最优策略的线性收敛，在 η = 1/τ 时存在单次收敛的潜力。