[論文レビュー] Gradient play in stochastic games: stationary points, convergence, and sample complexity

Runyu Zhang, Zhaolin Ren+1 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics参考文献 45被引用数 4

ひとこと要約

本稿は、直接的パラメータ化された方策を用いた確率的ゲームにおいて、一次の停留所とナッシュ均衡（NE）の等価性を確立し、勾配プレーが厳密なNEに局所収束することを証明するとともに、マーカフポテンシャルゲームにおける非漸近的グローバル収束レートを提供する。さらに、サンプル複雑度が $;igl(rac{n}{ε^{6}} \textup{poly}\bigl(\frac{1}{1-\gamma},|\mathcal{S}|,\max_{i}|\mathcal{A}_{i}|\bigr)\bigr)$ である、サンプルベースの分散型強化学習アルゴリズムを設計し、$ε$-NEに到達する。

ABSTRACT

We study the performance of the gradient play algorithm for stochastic games (SGs), where each agent tries to maximize its own total discounted reward by making decisions independently based on current state information which is shared between agents. Policies are directly parameterized by the probability of choosing a certain action at a given state. We show that Nash equilibria (NEs) and first-order stationary policies are equivalent in this setting, and give a local convergence rate around strict NEs. Further, for a subclass of SGs called Markov potential games (which includes the setting with identical rewards as an important special case), we design a sample-based reinforcement learning algorithm and give a non-asymptotic global convergence rate analysis for both exact gradient play and our sample-based learning algorithm. Our result shows that the number of iterations to reach an $ε$-NE scales linearly, instead of exponentially, with the number of agents. Local geometry and local stability are also considered, where we prove that strict NEs are local maxima of the total potential function and fully-mixed NEs are saddle points.

研究の動機と目的

• 直接的パラメータ化された方策を用いた確率的ゲームにおける一次の停留所とナッシュ均衡（NE）の関係を理解すること。
• 厳密なNEの周囲における勾配プレーの局所的収束行動を分析し、その安定性を特徴づけること。
• グローバル収束保証を備えた、サンプル効率的かつ完全に分散型の強化学習アルゴリズムを設計すること。
• 有限状態行動空間を有する確率的ゲームにおける $ε$-ナッシュ均衡を学習するためのサンプル複雑度を定量化すること。

提案手法

• 単一エージェントから多エージェントの確率的ゲームへと勾配支配性の性質を一般化し、一次の停留所方策とNEの等価性を確立する。
• 局所幾何学的構造と安定性解析を用いて、勾配プレーが厳密なNEに収束する過程を局所的に分析する。
• 同一報酬設定を含む、確率的ゲームの部分クラスであるマーカフポテンシャルゲーム（MPGs）の概念を導入し、勾配プレー下でNEへのグローバル収束を証明する。
• 他のエージェントの方策が固定された状態で、各エージェントの平均MDPを活用する、サンプルベースの完全分散型強化学習アルゴリズムを提案する。
• 他のエージェントの方策が固定された状態で、エージェントの平均MDPに関するモデルベースのポリシー評価を用いて、サンプルから勾配を推定する。
• 非漸近的解析を用いて、エージェント数に線形に比例するスケーリングを示すサンプル複雑度の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 直接的パラメータ化された方策を用いた確率的ゲームにおいて、勾配プレーの一次の停留所はナッシュ均衡に等価か？
• RQ2 厳密なナッシュ均衡の周囲における勾配プレーの局所的安定性および収束行動はいかなるものか？
• RQ3 マーカフポテンシャルゲームにおいて、勾配プレーがナッシュ均衡にグローバルに収束させることができるか？
• RQ4 分散型でサンプルベースのアルゴリズムを用いて、確率的ゲームにおける $ε$-ナッシュ均衡を学習するためのサンプル複雑度はどの程度か？
• RQ5 エージェント数の増加が、学習アルゴリズムの収束速度およびサンプル効率にどのように影響するか？

主な発見

• 直接的パラメータ化された方策を用いた確率的ゲームにおいて、一次の停留所方策はナッシュ均衡に等価であり、最適化とゲーム理論的均衡の間の根本的な関係を確立する。
• 勾配プレーは、有限ステップで厳密なナッシュ均衡に局所的に収束し、この設定における局所収束レートが確立されている。
• 厳密なナッシュ均衡は、総ポテンシャル関数の局所的最大値であることが示され、勾配プレーのダイナミクス下での安定性を示している。
• 完全に混合されたナッシュ均衡は、勾配プレー下で鞍点であることが示され、不安定であり、このような点からの発散の可能性がある。
• 提案されたサンプルベースの強化学習アルゴリズムは、高確率で $\widetilde{O}\bigl(\frac{n}{\u03B5^{6}}\textup{poly}\bigl(\frac{1}{1-\gamma},|\mathcal{S}|,\max_{i}|\mathcal{A}_{i}|\bigr)\bigr)$ のサンプルを用いて $\u03B5$-ナッシュ均衡に到達する。
• サンプル複雑度はエージェント数 $n$ に対して線形にスケーリングされ、従来の指数的スケーリングと比較して良好なスケーラビリティを示している。