[論文レビュー] Independent Policy Gradient Methods for Competitive Reinforcement Learning

Constantinos Daskalakis, Dylan J. Foster+1 more|arXiv (Cornell University)|Jan 11, 2021

Advanced Bandit Algorithms Research被引用数 22

ひとこと要約

本論文は、競合的2エージェント強化学習における独立的方策勾配法について、初めての有限標本・非漸近的収束保証を確立した。両エージェントがゼロサムの確率的ゲームにおいて2時間スケール学習率ルールに従って方策勾配更新を行う場合、その方策はミニマックス（ナッシュ）均衡に収束することを証明し、マルチエージェントRL理論における重要な未解決問題を解決した。

ABSTRACT

We obtain global, non-asymptotic convergence guarantees for independent learning algorithms in competitive reinforcement learning settings with two agents (i.e., zero-sum stochastic games). We consider an episodic setting where in each episode, each player independently selects a policy and observes only their own actions and rewards, along with the state. We show that if both players run policy gradient methods in tandem, their policies will converge to a min-max equilibrium of the game, as long as their learning rates follow a two-timescale rule (which is necessary). To the best of our knowledge, this constitutes the first finite-sample convergence result for independent policy gradient methods in competitive RL; prior work has largely focused on centralized, coordinated procedures for equilibrium computation.

研究の動機と目的

• 競合的マルチエージェント強化学習における独立的方策勾配法の理論的収束保証の欠如に対処すること。
• 独立アルゴリズムの実践的成功とその理論的不安定性のギャップを、特に非協力的設定において埋めること。
• エージェントが局所的情報のみを観測する現実的な分散学習仮定のもとで、ナッシュ均衡への確実な収束を確立すること。
• 中央集権的または調整付きアルゴリズムにとどまらず、方策勾配を用いた分散的・独立的学習への収束理論を拡張すること。

提案手法

• 離散的状態空間と行動空間を持つ2人ゼロサム確率的ゲームを、エピソード的で独立的学習フレームワークのもとで分析する。
• エージェントが相手の行動を観測しないで、自らの行動、報酬、およびグローバル状態のみを観測すると仮定する。
• 2時間スケール学習率ルールを用いた方策勾配更新を適用し、一方のエージェントが他方より遅く更新するようにする。
• 非凸ミニマックス問題におけるナッシュ均衡への収束を証明するために、両側勾配優位性（two-sided gradient dominance）を用いる。
• 均衡条件を特徴付けるために変分不等式（MVI）フレームワークを採用し、収束を検証する。
• 既知の均衡を有する合成ゲームを用いた実験例により理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的調整なしに、独立的方策勾配法は競合的マルチエージェント強化学習でナッシュ均衡に収束できるか？
• RQ2 どのような学習率スケジュールが、ゼロサム確率的ゲームにおける独立的方策勾配法の有限標本収束を可能にするか？
• RQ3 標準的な独立学習アルゴリズムがなぜしばしば収束しないのか？ そして、収束を安定化させる構造的条件は何か？
• RQ4 2時間スケールルールは、なぜ単一時間スケール手法が失敗する状況で収束を可能にするのか？
• RQ5 この収束結果は、単純な行列ゲームを越えて、より広い非凸ミニマックス問題のクラスへ一般化可能か？

主な発見

• 2時間スケール学習率ルールを用いた独立的方策勾配法は、2人ゼロサム確率的ゲームにおいて、グローバルにミニマックス（ナッシュ）均衡に収束する。
• 収束は有限標本かつ非漸近的であり、競合的RLにおける独立的方策勾配法で初めてのこのような保証を提供する。
• 2時間スケールルールは収束に不可欠であり、分布シフトと非凸性のため、単一時間スケール更新では収束しない可能性がある。
• 理論的枠組みは、両側勾配優位性を満たす非凸ミニマックス問題のクラスに適用可能であり、標準的な凸-凹設定を超えて拡張される。
• 実験的検証により、パラメータε=0.1およびs=0.3の合成ゲームで、既知の均衡に収束することが確認された。
• テストゲームにおいて、ゲームの価値がゼロである場合、唯一のグローバルナッシュ均衡を効果的に特定できた。