[論文レビュー] Global Convergence of Policy Gradient for Sequential Zero-Sum Linear Quadratic Dynamic Games

Jingjing Bu, Lillian J. Ratliff+1 more|arXiv (Cornell University)|Nov 12, 2019

Reinforcement Learning in Robotics参考文献 12被引用数 26

ひとこと要約

本稿は、スタックルバーグ指導構造をモデル化する、投影なし、リーダーフォロワー型のポリシー勾配アルゴリズムを、逐次ゼロ和線形二次動的ゲームに対して提案する。リーダーが自然勾配降下／上昇を用いる場合、グローバルな非線形収束を確立する。一方、準ニュートン型ポリシー更新を用いる場合、安定化条件のもとでグローバルな2次収束を達成する。投影ステップは一切不要である。

ABSTRACT

We propose projection-free sequential algorithms for linear-quadratic dynamics games. These policy gradient based algorithms are akin to Stackelberg leadership model and can be extended to model-free settings. We show that if the leader performs natural gradient descent/ascent, then the proposed algorithm has a global sublinear convergence to the Nash equilibrium. Moreover, if the leader adopts a quasi-Newton policy, the algorithm enjoys a global quadratic convergence. Along the way, we examine and clarify the intricacies of adopting sequential policy updates for LQ games, namely, issues pertaining to stabilization, indefinite cost structure, and circumventing projection steps.

研究の動機と目的

• 逐次ゼロ和線形二次動的ゲームに対して、安定的でグローバルに収束するポリシー勾配法の設計という課題に取り組む。
• 特に、ポリシー空間が開いており、コスト構造が不定であることに起因する、LQゲームにおける逐次的ポリシー更新の安定化問題を明確化する。
• 投影ステップを回避しつつ、無限時間枠で割引なしのLQゲームにおいてナッシュ均衡への収束を保証するアルゴリズムを開発する。
• スタックルバーグ指導構造を活用することで、モデルフリー設定へのポリシー勾配法の拡張を図る。
• 自然勾配更新と準ニュートン更新のそれぞれに対して、非線形および2次収束保証を理論的に提供する。

提案手法

• スタックルバーグ指導構造を模倣したリーダーフォロワー型ポリシー更新スキームを定式化し、一方のプレイヤーをリーダー、他方をフォロワーとする。
• リーダーに自然勾配降下／上昇を適用することで、ナッシュ均衡へのグローバルな非線形収束を保証する。
• リーダーに準ニュートン型ポリシー更新を採用することで、グローバルな2次収束レートを達成する。
• ゼロ和LQゲームにおけるナッシュ均衡の理論的基盤として、一般化された代数的リッカティ方程式（GARE）を用いる。
• 連続性および開集合の性質に基づく安定化の確立：安定化フィードバックゲインの集合は開集合であり、小さなポリシー更新でも安定性が保たれることを保証する。
• コスト関数の行先行列と固有値の連続性に基づいて、有界なステップサイズが十分に小さければ、閉ループ系のシュール安定性が維持されることを証明することで、投影ステップを回避する。

実験結果

リサーチクエスチョン

• RQ1 投影ステップなしで、逐次ゼロ和LQ動的ゲームにおけるポリシー勾配法がグローバルに収束可能か？
• RQ2 リーダーの役割において、自然勾配と準ニュートン更新を用いる場合、達成可能な収束レートは何か？
• RQ3 ポリシー空間が開で、コスト関数が不定である場合、逐次的ポリシー更新中に安定化をどのように維持できるか？
• RQ4 スタックルバーグ指導構造は、割引なしで有界でないコストを持つLQゲームにおいて、どのようにグローバル収束を可能にするか？
• RQ5 提案されたアルゴリズムは、モデルフリー設定に拡張可能であり、理論的収束保証を維持できるか？

主な発見

• 提案されたリーダーフォロワー型ポリシー勾配アルゴリズムは、リーダーが自然勾配降下／上昇を用いる場合、グローバルな非線形収束を達成する。
• リーダーが準ニュートン型ポリシー更新を用いる場合、アルゴリズムはナッシュ均衡へのグローバルな2次収束を達成する。
• 十分に小さなステップサイズが保証される限り、閉ループ系のシュール安定性が継続されることを証明することで、投影ステップを回避する。
• 安定化フィードバックゲインの集合は開集合であるため、小さなポリシー更新でも安定性が保たれ、発散を防げる。
• 収束結果は、不定なコスト行列を有する割引なしで無限時間枠のLQゲーム設定でも成り立つ。
• 理論的枠組みは、モデルフリー強化学習設定への拡張を支持し、理論的保証を備えたマルチエージェントRLのベンチマークを提供する。