[论文解读] Policy Optimization Provably Converges to Nash Equilibria in Zero-Sum Linear Quadratic Games

Kaiqing Zhang, Zhuoran Yang+1 more|arXiv (Cornell University)|May 31, 2019

Reinforcement Learning in Robotics参考文献 59被引用 28

一句话总结

本文提出了一种投影嵌套梯度方法，用于零和线性二次（LQ）博弈中的策略优化，在非凸非凹的损失景观下，证明了其能全局收敛至纳什均衡。该研究建立了全局次线性收敛率与局部线性收敛率，首次在该类马尔可夫博弈中实现了策略优化到纳什均衡的可证明收敛。

ABSTRACT

We study the global convergence of policy optimization for finding the Nash equilibria (NE) in zero-sum linear quadratic (LQ) games. To this end, we first investigate the landscape of LQ games, viewing it as a nonconvex-nonconcave saddle-point problem in the policy space. Specifically, we show that despite its nonconvexity and nonconcavity, zero-sum LQ games have the property that the stationary point of the objective function with respect to the linear feedback control policies constitutes the NE of the game. Building upon this, we develop three projected nested-gradient methods that are guaranteed to converge to the NE of the game. Moreover, we show that all of these algorithms enjoy both globally sublinear and locally linear convergence rates. Simulation results are also provided to illustrate the satisfactory convergence properties of the algorithms. To the best of our knowledge, this work appears to be the first one to investigate the optimization landscape of LQ games, and provably show the convergence of policy optimization methods to the Nash equilibria. Our work serves as an initial step toward understanding the theoretical aspects of policy-based reinforcement learning algorithms for zero-sum Markov games in general.

研究动机与目标

• 弥合多智能体强化学习中策略优化的实证成功与收敛性保证之间的理论鸿沟，特别是在零和马尔可夫博弈中。
• 分析零和LQ博弈的优化景观，表明尽管存在非凸性和非凹性，策略空间中的驻点仍对应于纳什均衡。
• 设计并分析基于梯度的算法，在较弱假设下可证明收敛至纳什均衡。
• 在该非凸非凹设定下，建立策略优化的全局次线性和局部线性收敛速率。
• 通过LQ博弈的视角，为对抗性连续控制设定下的基于策略的强化学习提供基础理论。

提出的方法

• 提出三种投影嵌套梯度方法，将策略更新分解为外层和内层循环，确保迭代过程中始终维持稳定控制策略。
• 使用投影算子以保持策略空间中的稳定性并强制满足可行性。
• 将博弈建模为策略参数空间中的非凸非凹鞍点问题，其中驻点对应于纳什均衡。
• 通过结合全局次线性和局部线性速率，利用海森矩阵与梯度映射的性质，建立收敛性。
• 采用嵌套循环结构以缓解多智能体学习中的非平稳性，其中内层循环在给定另一方策略时求解最优策略。
• 引入修改后的代价函数，并对类似Riccati的矩阵 $\widetilde{Q}_L = Q - L^\top R^v L$ 进行特征值分析，以刻画稳定性和收敛性。

实验结果

研究问题

• RQ1 尽管问题具有非凸非凹特性，策略优化方法是否能在零和LQ博弈中可证明收敛至纳什均衡？
• RQ2 在LQ博弈中，策略空间目标函数的驻点是否对应于纳什均衡？
• RQ3 投影嵌套梯度方法是否能在该设定下保证全局收敛，并具有可证明的次线性和局部线性收敛速率？
• RQ4 投影算子在稳定策略更新和实现收敛中起到何种作用？
• RQ5 当关键假设——即 $\widetilde{Q}_L$ 的最小特征值——被放宽时，策略优化方法的收敛特性如何变化？

主要发现

• 尽管存在非凸性和非凹性，零和LQ博弈中策略空间目标函数的驻点恰好对应于纳什均衡。
• 投影嵌套梯度方法即使在缺乏光滑性和标准凸性-凹性条件下，也能实现全局次线性收敛和局部线性收敛。
• 仿真结果表明，在 Case 1 中（$\lambda_{\min}(\widetilde{Q}_L) > 0$），代价单调下降且梯度映射范数平方收敛，验证了理论收敛速率。
• 在 Case 2 中（$\lambda_{\min}(\widetilde{Q}_L) < 0$），尽管代价未单调下降，仍实现收敛，表明对宽松假设具有鲁棒性。
• 投影算子在理论上至关重要，但在实验中极少被激活，提示未来可设计无投影算法并保持类似保证。
• 梯度下降-上升及交替梯度变体在两种情况下均收敛至纳什均衡，即使内层循环未精确收敛，表明其具有实际鲁棒性。