[論文レビュー] Gradient Play in Multi-Agent Markov Stochastic Games: Stationary Points and Convergence

Runyu Zhang, Zhaolin Ren+1 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics参考文献 39被引用数 8

ひとこと要約

本稿は、マルチエージェントの表形式マルコフ確率的ゲームにおける勾配プレーの分析を行い、ナッシュ均衡（NE）と一次の静的方策が同等であることを示している。マルコフポテンシャルゲームでは、非漸近的全域収束速度が$\backslashvarepsilon$-NEに達するものであり、反復複雑度はエージェント数に線形に依存する。また、NEの局所的安定性と幾何構造を特徴づけている。

ABSTRACT

We study the performance of the gradient play algorithm for multi-agent tabular Markov decision processes (MDPs), which are also known as stochastic games (SGs), where each agent tries to maximize its own total discounted reward by making decisions independently based on current state information which is shared between agents. Policies are directly parameterized by the probability of choosing a certain action at a given state. We show that Nash equilibria (NEs) and first order stationary policies are equivalent in this setting, and give a non-asymptotic global convergence rate analysis to an $\epsilon$-NE for a subclass of multi-agent MDPs called Markov potential games, which includes the cooperative setting with identical rewards among agents as an important special case. Our result shows that the number of iterations to reach an $\epsilon$-NE scales linearly, instead of exponentially, with the number of agents. Local geometry and local stability are also considered. For Markov potential games, we prove that strict NEs are local maxima of the total potential function and fully-mixed NEs are saddle points. We also give a local convergence rate around strict NEs for more general settings.

研究の動機と目的

• マルチエージェントのマルコフ決定過程（MDP）における勾配プレーの収束特性を分析すること。これは、確率的ゲーム（SGs）としても知られる。
• この設定において、ナッシュ均衡（NE）と一次の静的方策の間の同等性を確立すること。
• マルコフポテンシャルゲーム、すなわちマルチエージェントMDPの部分クラスにおいて、非漸近的全域収束速度を$\backslashvarepsilon$-NEに導出すること。
• マルコフポテンシャルゲームにおけるNEの局所的幾何構造と安定性を特徴づけ、全ポテンシャル関数との関係を明らかにすること。
• 一般化された設定への収束解析を拡張し、厳密なNEの周囲での局所的収束速度を確立すること。

提案手法

• 各状態における行動確率を直接パラメータ化することで、エージェントごとに勾配ベースの最適化を可能にする。
• 勾配プレーを適用し、各エージェントが自身の期待割引報酬の勾配を使用して方策を更新する。
• マルコフポテンシャルゲームの構造を用いて収束を分析し、ゲームのダイナミクスがグローバルなポテンシャル関数から導出されることを活用する。
• 厳密なNEが全ポテンシャル関数の局所的最大値に対応することを証明し、完全に混合されたNEがこの関数の鞍点であることを示す。
• 非漸近的全域収束速度を$\backslashvarepsilon$-NEに導出し、エージェント数に線形に依存することを示す。
• 一般設定において、局所的幾何構造と安定性解析を用いて、厳密なNEの周囲での局所的収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントの表形式MDPにおいて、ナッシュ均衡と一次の静的方策は同等であるか？
• RQ2 マルコフポテンシャルゲームにおいて、勾配プレーの$\backslashvarepsilon$-ナッシュ均衡への全域収束速度は何か？
• RQ3 マルコフポテンシャルゲームにおけるNEの局所的幾何構造は、全ポテンシャル関数とどのように関係するか？
• RQ4 厳密なNEはポテンシャル関数の局所的最大値であり、完全に混合されたNEは鞍点であるか？
• RQ5 一般のマルチエージェントMDPにおいて、厳密なNEの周囲で達成可能な局所的収束速度は何か？

主な発見

• マルチエージェントの表形式MDPにおいて、ナッシュ均衡と一次の静的方策は同等である。
• マルコフポテンシャルゲームでは、$\backslashvarepsilon$-ナッシュ均衡に到達するまでの反復回数は、エージェント数に線形に依存する。
• マルコフポテンシャルゲームにおいて、厳密なナッシュ均衡は全ポテンシャル関数の局所的最大値である。
• 完全に混合されたナッシュ均衡は、マルコフポテンシャルゲームにおいて全ポテンシャル関数の鞍点である。
• より一般のマルチエージェントMDPの設定において、厳密なNEの周囲での局所的収束速度が確立された。
• 本分析により、マルコフポテンシャルゲームにおける$\backslashvarepsilon$-NEへの非漸近的全域収束保証が得られた。