[論文レビュー] Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence

Dong-Sheng Ding, Chen-Yu Wei+2 more|arXiv (Cornell University)|Feb 8, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、大規模なマルコフポテンシャルゲーム（MPG）における独立方策勾配アルゴリズムを提案し、状態空間のサイズに依存しないO(1/ε²)の反復複雑度でε-ナッシュ均衡を達成する。線形関数近似を用いる場合、O(1/ε⁵)のサンプル複雑度を達成する。さらに、ゼロサムおよび協調的マルコフゲームの両方において、ゲームに依存しない収束性を確立し、初期状態分布へのロバスト性を実験的に検証した。

ABSTRACT

We examine global non-asymptotic convergence properties of policy gradient methods for multi-agent reinforcement learning (RL) problems in Markov potential games (MPG). To learn a Nash equilibrium of an MPG in which the size of state space and/or the number of players can be very large, we propose new independent policy gradient algorithms that are run by all players in tandem. When there is no uncertainty in the gradient evaluation, we show that our algorithm finds an $ε$-Nash equilibrium with $O(1/ε^2)$ iteration complexity which does not explicitly depend on the state space size. When the exact gradient is not available, we establish $O(1/ε^5)$ sample complexity bound in a potentially infinitely large state space for a sample-based algorithm that utilizes function approximation. Moreover, we identify a class of independent policy gradient algorithms that enjoys convergence for both zero-sum Markov games and Markov cooperative games with the players that are oblivious to the types of games being played. Finally, we provide computational experiments to corroborate the merits and the effectiveness of our theoretical developments.

研究の動機と目的

• 大規模マルチエージェント強化学習における独立方策勾配法に、非漸近的グローバル収束保証が不足している問題に対処すること。
• 状態空間のサイズおよびエージェント数に応じて効率的にスケーリングするMPGにおけるアルゴリズムの開発。
• エージェントがゲームの種別を事前に知らなくても、ゼロサムおよび協調的マルコフゲームの両方で収束する1つのアルゴリズムを確立すること。
• MPGにおける関数近似設定での反復複雑度およびサンプル複雑度の理論的境界を提供すること。
• 計算実験を通じて、提案手法の初期状態分布への感受性を検証すること。

提案手法

• アルゴリズム1を提案：状態空間サイズに依存しないO(1/ε²)の反復複雑度を達成するMPG用の独立方策勾配法。
• アルゴリズム2を導入：線形関数近似を用いたサンプルベースの勾配法であり、無限状態空間においてもO(1/ε⁵)のサンプル複雑度を達成。
• アルゴリズム3を設計：オプティミスティック方策勾配の変種であり、ゼロサムおよび協調的マルコフゲームの両方で収束し、ゲームに依存しない学習を可能にする。
• 方策パラメータ化と投影勾配上昇法を用い、ポテンシャルゲーム構造を活用してエージェントの更新を分離する。
• 大規模または無限の状態空間に対応するため、関数近似を用いた方策勾配推定器を採用。
• 初期状態分布を変化させた実験的評価を実施し、ρに依存しない性質を実証し、理論的主張を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 独立方策勾配法は、大規模なマルコフポテンシャルゲームにおいて非漸近的グローバル収束を達成できるか？
• RQ2 状態空間サイズが大きいか無限大の場合、MPGにおける独立方策勾配法の反復複雑度はどの程度か？
• RQ3 関数近似を独立方策勾配法と効果的に組み合わせ、収束保証を維持できるか？
• RQ4 ゼロサムおよび協調的マルコフゲームの両方で収束する1つの方策勾配アルゴリズムが存在するか？（ゲームタイプの認識を必要としない。）
• RQ5 実際の応用において、提案手法の性能は初期状態分布にどのように依存するか？

主な発見

• 提案された独立方策勾配法は、状態空間サイズに依存せず、MPGにおけるε-ナッシュ均衡をO(1/ε²)の反復複雑度で達成する。
• 線形関数近似を用いる場合、サンプルベースのアルゴリズムは無限状態空間においてもO(1/ε⁵)のサンプル複雑度を達成する。
• オプティミスティック方策勾配アルゴリズムは、ゼロサムおよび協調的マルコフゲームの両方で収束し、マルコフゲームにおける最初のゲームに依存しない収束結果を示した。
• 計算実験により、提案手法は初期状態分布の変化に対してロバストであることが示された。一方、ρに依存する投影勾配法とは対照的である。
• 提案手法は、異なる初期状態分布において、ベースラインの投影確率的勾配上昇法よりも収束速度と安定性に優れている。
• 理論的および実験的結果により、アルゴリズムは初期状態分布がほぼ退化している場合でも性能を維持することが確認された。