[論文レビュー] On the convergence of policy gradient methods to Nash equilibria in general stochastic games

Angeliki Giannou, Kyriakos Lotidis+2 more|arXiv (Cornell University)|Oct 17, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿は、均衡方策における2階停留性（SOS）条件を導入することで、一般の確率的ゲームにおける方策勾配法のナッシュ均衡への収束を確立する。勾配推定がReinforceアルゴリズムから得られる場合、O(1/√n)の二乗距離レートで局所収束を証明し、方策更新に特化した射影ステップを含めることで、決定的ナッシュ均衡への有限時間収束を示す。

ABSTRACT

Learning in stochastic games is a notoriously difficult problem because, in addition to each other's strategic decisions, the players must also contend with the fact that the game itself evolves over time, possibly in a very complicated manner. Because of this, the convergence properties of popular learning algorithms - like policy gradient and its variants - are poorly understood, except in specific classes of games (such as potential or two-player, zero-sum games). In view of this, we examine the long-run behavior of policy gradient methods with respect to Nash equilibrium policies that are second-order stationary (SOS) in a sense similar to the type of sufficiency conditions used in optimization. Our first result is that SOS policies are locally attracting with high probability, and we show that policy gradient trajectories with gradient estimates provided by the REINFORCE algorithm achieve an $\mathcal{O}(1/\sqrt{n})$ distance-squared convergence rate if the method's step-size is chosen appropriately. Subsequently, specializing to the class of deterministic Nash policies, we show that this rate can be improved dramatically and, in fact, policy gradient methods converge within a finite number of iterations in that case.

研究の動機と目的

• 一般の確率的ゲームにおける方策勾配法の長期的収束挙動を理解すること。ゲームのダイナミクスは時間とともに変化し、均衡は計算が困難である。
• 部分的情報とノイズのある勾配推定のもとでナッシュ均衡方策への収束を分析すること。特に非定常的でエピソードベースの設定において有効である。
• 方策勾配軌道が高確率で局所的にナッシュ均衡に収束する十分条件を同定すること。
• 2階停留性と決定的ナッシュ方策の構造的性質を活用して収束レートを向上させること。

提案手法

• Reinforceアルゴリズムからのエピソードごとの推定を含む、さまざまな勾配推定方式と統合可能な柔軟なアルゴリズムフレームワークを導入する。
• 最適化におけるものと類似したヘッセ行列に基づく十分条件を満たす方策を、2階停留（SOS）方策として定義し、局所的安定性を保証する。
• SOS均衡の近傍における方策勾配の降下行動を解析するため、積分剰余項を用いたテイラー展開を用いる。収束レートを導出する。
• 勾配優位性と凸性の議論を用いて、現在の方策と均衡方策との距離を勾配ノルムの観点から有界化する。
• ノイズや不確実性が存在する中でも、決定的ナッシュ均衡への有限時間収束を保証する、方策更新における修正された射影ステップを導入する。
• 時間平均化や最良反復保証を避けるために、実際のエピソードごとのプレイ軌道を分析する。

実験結果

リサーチクエスチョン

• RQ1 一般の確率的ゲームにおける方策勾配法がナッシュ均衡に収束する条件は何か？
• RQ2 ノイズのあるエピソードごとの勾配推定が与えられた場合、方策勾配法の収束を保証できるか？
• RQ3 均衡方策が2階停留性条件を満たす場合、達成可能な収束レートは何か？
• RQ4 決定的ナッシュ均衡に対して、方策勾配更新により有限時間収束を達成できるか？
• RQ5 方策空間の構造とヘッセ行列の挙動が収束安定性にどのように影響するか？

主な発見

• Reinforceに基づく勾配推定を用いた方策勾配軌道は、適切なステップサイズ選択のもとで、O(1/√n)の二乗距離レートで2階停留（SOS）ナッシュ均衡に収束する。
• SOS方策の特殊ケースである決定的ナッシュ方策に対しては、方策更新における修正された射影ステップにより、有限時間収束が達成可能である。
• ヘッセ行列に基づく安定性解析と凸近傍の議論により、SOS方策は高確率で局所的に吸引的であることが示された。
• O(1/√n)の収束レートは、積分剰余項を用いたテイラー展開と、接空間内でのヘッセ行列の負定値性の有界化によって確立された。
• 解析により、方策勾配法が非均衡領域を脱出し、ノイズのあるエピソードごとの勾配推定のもとでも安定均衡に収束できることを確認した。
• 結果は、定常的でないか、無限時間ホライズンに限定されない一般の確率的ゲームに対しても成り立つ。