[論文レビュー] Policy Optimization Provably Converges to Nash Equilibria in Zero-Sum Linear Quadratic Games

Kaiqing Zhang, Zhuoran Yang+1 more|arXiv (Cornell University)|May 31, 2019

Reinforcement Learning in Robotics参考文献 59被引用数 28

ひとこと要約

本稿では、零和線形二次（LQ）ゲームにおける方策最適化のための投影型ネスト勾配法を提案し、非凸・非凹な形状を示すにもかかわらず、ナッシュ均衡へのグローバル収束を証明する。本稿は、グローバルにサブ線形かつ局所的に線形の収束レートを確立し、このクラスのマルコフゲームにおける方策最適化の収束を初めて理論的に保証するものである。

ABSTRACT

We study the global convergence of policy optimization for finding the Nash equilibria (NE) in zero-sum linear quadratic (LQ) games. To this end, we first investigate the landscape of LQ games, viewing it as a nonconvex-nonconcave saddle-point problem in the policy space. Specifically, we show that despite its nonconvexity and nonconcavity, zero-sum LQ games have the property that the stationary point of the objective function with respect to the linear feedback control policies constitutes the NE of the game. Building upon this, we develop three projected nested-gradient methods that are guaranteed to converge to the NE of the game. Moreover, we show that all of these algorithms enjoy both globally sublinear and locally linear convergence rates. Simulation results are also provided to illustrate the satisfactory convergence properties of the algorithms. To the best of our knowledge, this work appears to be the first one to investigate the optimization landscape of LQ games, and provably show the convergence of policy optimization methods to the Nash equilibria. Our work serves as an initial step toward understanding the theoretical aspects of policy-based reinforcement learning algorithms for zero-sum Markov games in general.

研究の動機と目的

• マルチエージェント強化学習における方策最適化の理論的ギャップを、特に零和マルコフゲームにおいて、実験的成果と収束保証の間のギャップを埋める。
• 零和LQゲームの最適化の形状を分析し、非凸性および非凹性にもかかわらず、方策空間における停留在点がナッシュ均衡に一致することを示す。
• 弱い仮定のもとでナッシュ均衡に実際に収束する勾配ベースのアルゴリズムを設計・分析する。
• 非凸・非凹な設定下で、方策最適化におけるグローバルにサブ線形かつ局所的に線形の収束レートを確立する。
• LQゲームの観点から、敵対的連続制御設定における方策ベースRLの基礎理論を提供する。

提案手法

• 方策更新を外側と内側のループに分離することで、反復の全過程で安定化制御方策を保証する3つの投影型ネスト勾配法を提案する。
• 射影演算子を用いて、方策空間における妥当性を保ち、安定化制御方策を維持する。
• ゲームを方策パラメータ空間における非凸・非凹なサドルポイント問題として扱い、停留在点がナッシュ均衡に一致することを示す。
• ヘッシアンと勾配マッピングの性質を活用し、グローバルにサブ線形かつ局所的に線形の収束レートを組み合わせて収束を確立する。
• 非定常性を緩和するため、ネストループ構造を採用し、一方のエージェントの方策が与えられたもとで、もう一方のエージェントの最適方策を内側ループで解く。
• 修正されたコスト関数と、リッカティ型行列 $\widetilde{Q}_L = Q - L^\top R^v L$ の固有値解析を導入し、安定性と収束を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 非凸・非凹な性質を持つにもかかわらず、零和LQゲームにおける方策最適化手法は、ナッシュ均衡に理論的に収束可能か？
• RQ2 LQゲームにおける方策空間の目的関数の停留在点は、ナッシュ均衡に対応するか？
• RQ3 投影型ネスト勾配法は、この設定において、理論的に保証されたサブ線形および局所的線形収束レートを達成可能か？
• RQ4 射影演算子は、方策更新の安定化と収束の実現にどのような役割を果たすか？
• RQ5 $\widetilde{Q}_L$ の最小固有値に関する重要な仮定を緩和した場合、方策最適化手法の収束特性はどのように変化するか？

主な発見

• 非凸性および非凹性にもかかわらず、零和LQゲームにおける方策空間の目的関数の停留在点は、正確にナッシュ均衡に一致する。
• 投影型ネスト勾配法は、滑らかさや標準的な凸性・凹性の仮定がなくても、グローバルにサブ線形、局所的に線形の収束レートで収束する。
• シミュレーション結果では、Case 1（$\lambda_{\min}(\widetilde{Q}_L) > 0$）において、コストの単調な改善と勾配マッピングノルムの二乗の収束が確認され、理論的レートが裏付けられた。
• Case 2（$\lambda_{\min}(\widetilde{Q}_L) < 0$）では、コストの単調な減少がないまま収束が達成されており、仮定の緩和に対してもロバストであることが示された。
• 射影演算子は理論的に不可欠であるが、実験的にほとんど活性化されないため、将来の射影フリーなアルゴリズムが同様の保証を達成可能である可能性がある。
• 勾配降下法・上昇法および交互勾配の変種も、両ケースにおいて正確な内側ループ収束がなくてもナッシュ均衡に収束することが示され、実用的なロバスト性が裏付けられた。