[論文レビュー] Independent Natural Policy Gradient Always Converges in Markov Potential Games

Roy Fox, Stephen McAleer+2 more|arXiv (Cornell University)|Oct 20, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿は、一意な最適値が存在しないにもかかわらず、定数学習率を用いることで、独立自然方策勾配（INPG）がマーチンゲルポテンシャルゲーム（MPG）においてナッシュ均衡に収束することを証明している。主な洞察は、INPGがMPGに由来するポテンシャル関数Φ上の自然勾配上昇に等価であるため、単調な改善が保証され、均衡方策へのグローバル収束が達成されることにある。

ABSTRACT

Multi-agent reinforcement learning has been successfully applied to fully-cooperative and fully-competitive environments, but little is currently known about mixed cooperative/competitive environments. In this paper, we focus on a particular class of multi-agent mixed cooperative/competitive stochastic games called Markov Potential Games (MPGs), which include cooperative games as a special case. Recent results have shown that independent policy gradient converges in MPGs but it was not known whether Independent Natural Policy Gradient converges in MPGs as well. We prove that Independent Natural Policy Gradient always converges in the last iterate using constant learning rates. The proof deviates from the existing approaches and the main challenge lies in the fact that Markov Potential Games do not have unique optimal values (as single-agent settings exhibit) so different initializations can lead to different limit point values. We complement our theoretical results with experiments that indicate that Natural Policy Gradient outperforms Policy Gradient in routing games and congestion games.

研究の動機と目的

• マーチンゲルポテンシャルゲーム（MPG）という、協調的・競合的状況を一般化する多エージェントゲームのクラスにおいて、独立自然方策勾配（INPG）の収束を確立すること。
• 単エージェント設定において標準的方策勾配を凌駕するINPGが、MPGにおいても収束するかどうかという未解決の問題に取り組むこと。
• MPGにおいて一意な最適値が存在しないにもかかわらず、INPGの最後の反復収束に対する理論的保証を提供すること。
• 理論的分析を実験で補完し、ルーティングゲームおよび混雑ゲームにおいて、INPGが独立方策勾配（IPG）よりも高速に収束することを示すこと。

提案手法

• MPGによって誘導されるポテンシャル関数Φ上の自然勾配上昇とINPGが等価であることを証明すること。
• フィッシャー情報行列によって誘導されるマハラノビスノルム下でのΦの勾配の局所リプシッツ連続性を活用し、INPG更新の下でポテンシャル関数Φが非減少であることを確立すること。
• ソフトマックスパラメータ化の構造と乗法的ウェイト更新への関連性を用いて、INPGの極限点がナッシュ均衡であることを示すこと。
• MPGではポテンシャル関数の最大化が純ナッシュ均衡をもたらすため、均衡方策への収束が可能であることを活用すること。
• 定数学習率を適用し、任意の十分に小さなステップサイズηに対して漸近的収束を証明すること。
• 異なるエージェント数を有する確率的混雑ゲームおよびルーティングゲームにおける実験を通じて、理論的発見を検証すること。

実験結果

リサーチクエスチョン

• RQ1 定数学習率を用いる場合、独立自然方策勾配（INPG）はマーチンゲルポテンシャルゲーム（MPG）においてナッシュ均衡に収束するか？
• RQ2 MPGにおいて一意な最適値が存在しないことにより、INPGの収束挙動は単エージェント設定と比べてどのように変化するか？
• RQ3 MPGの文脈において、INPGとポテンシャル関数上の自然勾配上昇との等価性を形式的に確立できるか？
• RQ4 多エージェント混合協調的・競合的環境において、INPGと独立方策勾配（IPG）の間の経験的性能差は何か？
• RQ5 IPGが合理的な反復回数内に収束しなくなる領域を超えて、エージェント数が増加してもINPGは高速な収束を維持できるか？

主な発見

• 定数学習率のもとで、異なる初期化が異なる極限値をもたらす場合であっても、INPGはマーチンゲルポテンシャルゲームにおいて漸近的にナッシュ均衡方策に収束する。
• 十分に小さな学習率に対して収束が保証される。これは、大きなステップサイズが、乗法的ウェイト更新などの類縁アルゴリズムと同様に、カオス的挙動を引き起こす可能性があるためである。
• INPGは収束速度においてIPGを上回る：4エージェントの混雑ゲームでは、INPGは約50反復で収束したのに対し、IPGは約2000反復を要した。
• 8エージェントの場合、INPGは100反復未満で収束したが、IPGは3000反復を経ても収束しなかった。これは顕著なスケーラビリティ優位性を示している。
• 実験結果は、単エージェントRLにおけるPGとNPGの間の性能差が、平坦な損失領域において多エージェント設定にも拡張されることを確認している。
• 理論的枠組みにより、INPGがポテンシャル関数上の自然勾配上昇に等価であることが確立され、Φの単調な非減少性が保証され、均衡方策への収束が可能であることが示された。