[论文解读] Global Convergence of Policy Gradient for Sequential Zero-Sum Linear Quadratic Dynamic Games

Jingjing Bu, Lillian J. Ratliff+1 more|arXiv (Cornell University)|Nov 12, 2019

Reinforcement Learning in Robotics参考文献 12被引用 26

一句话总结

该论文提出了一种无投影的、基于领导者-追随者结构的策略梯度算法，用于序列零和线性-二次动态博弈，建模了Stackelberg领导结构。当领导者使用自然梯度下降/上升时，证明了全局次线性收敛；当使用拟牛顿策略更新时，证明了全局二次收敛，且在稳定条件下无需投影步骤。

ABSTRACT

We propose projection-free sequential algorithms for linear-quadratic dynamics games. These policy gradient based algorithms are akin to Stackelberg leadership model and can be extended to model-free settings. We show that if the leader performs natural gradient descent/ascent, then the proposed algorithm has a global sublinear convergence to the Nash equilibrium. Moreover, if the leader adopts a quasi-Newton policy, the algorithm enjoys a global quadratic convergence. Along the way, we examine and clarify the intricacies of adopting sequential policy updates for LQ games, namely, issues pertaining to stabilization, indefinite cost structure, and circumventing projection steps.

研究动机与目标

• 解决设计稳定且全局收敛的策略梯度方法以应对序列零和线性-二次动态博弈的挑战。
• 澄清在序列策略更新中因策略空间开放和代价结构不定而产生的稳定化问题。
• 开发避免投影步骤的算法，同时确保在无限时域、未折扣的LQ博弈中收敛至纳什均衡。
• 通过利用Stackelberg领导结构模型，将策略梯度方法扩展至无模型设置。
• 分别在自然梯度和拟牛顿更新下，提供理论收敛保证——次线性和二次收敛。

提出的方法

• 基于Stackelberg领导结构的领导者-追随者策略更新方案，其中一玩家作为领导者，另一玩家作为追随者。
• 为领导者采用自然梯度下降/上升，以确保向纳什均衡的全局次线性收敛。
• 为领导者采用拟牛顿策略更新，以实现向纳什均衡的全局二次收敛速率。
• 以广义代数Riccati方程（GARE）作为零和LQ博弈中纳什均衡的理论基础。
• 通过连续性和开性论证实现稳定化：稳定反馈增益的集合是开集，确保小的策略更新能保持稳定性。
• 通过证明足够小的步长可维持闭环系统的Schur稳定性，避免投影步骤，利用代价-到矩阵的界和特征值连续性。

实验结果

研究问题

• RQ1 在无投影步骤的情况下，策略梯度方法能否在序列零和LQ动态博弈中实现全局收敛？
• RQ2 当领导者使用自然梯度与拟牛顿更新时，可达到的收敛速率是什么？
• RQ3 当策略空间开放且代价函数不定时，如何在序列策略更新中保持稳定？
• RQ4 Stackelberg领导结构在何种方式下可实现未折扣、无界代价的LQ博弈中的全局收敛？
• RQ5 所提出的算法能否扩展至无模型设置，同时保持理论收敛保证？

主要发现

• 所提出的领导者-追随者策略梯度算法在领导者使用自然梯度下降/上升时，实现向纳什均衡的全局次线性收敛。
• 当领导者采用拟牛顿策略更新时，算法实现向纳什均衡的全局二次收敛。
• 通过证明足够小的步长可确保闭环系统持续保持Schur稳定性，算法避免了投影步骤。
• 稳定反馈增益的集合是开集，这保证了小的策略更新能保持稳定性，防止发散。
• 收敛结果在未折扣、无限时域LQ博弈设置下成立，代价矩阵可能不定。
• 理论框架支持向无模型强化学习设置的扩展，为具有理论保证的多智能体RL提供基准。