[論文レビュー] Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games

Chen-Yu Wei, Chung‐Wei Lee+2 more|arXiv (Cornell University)|Feb 8, 2021

Reinforcement Learning in Robotics参考文献 44被引用数 13

ひとこと要約

本稿では、無限時間枠の2人ゼロ和マルコフゲームに対して、ゆっくり更新されるコーチを備えたオピトミスティック勾配降下/上昇（OGDA）に基づく分散型対称的アルゴリズムを提案する。自己対戦下で、有限時間内に最後の反復収束を達成すると同時に、合理性、無知性、収束性のすべての性質を同時に満たすという点で、本設定において初めてのアルゴリズムである。

ABSTRACT

We study infinite-horizon discounted two-player zero-sum Markov games, and develop a decentralized algorithm that provably converges to the set of Nash equilibria under self-play. Our algorithm is based on running an Optimistic Gradient Descent Ascent algorithm on each state to learn the policies, with a critic that slowly learns the value of each state. To the best of our knowledge, this is the first algorithm in this setting that is simultaneously rational (converging to the opponent's best response when it uses a stationary policy), convergent (converging to the set of Nash equilibria under self-play), agnostic (no need to know the actions played by the opponent), symmetric (players taking symmetric roles in the algorithm), and enjoying a finite-time last-iterate convergence guarantee, all of which are desirable properties of decentralized algorithms.

研究の動機と目的

• 自己対戦下でナッシュ均衡に収束する分散型アルゴリズムを、2人ゼロ和マルコフゲームに対して開発すること。
• アルゴリズムが合理性を有すること、すなわち任意の定常相手方策に対して最適応答することを保証すること。
• グローバルな知識や調整を必要とせず、有限時間内に最後の反復収束を達成すること。
• 分散型環境下で対称性、無知性、収束保証を維持すること。
• 従来マトリックスゲームでのみ使われてきたOGDAを、より複雑な非凸な無限時間枠マルコフゲームの設定に拡張すること。

提案手法

• 各状態でオピトミスティック勾配降下/上昇（OGDA）を用いて方策を更新し、学習の安定化のため遅延更新ルールを導入する。
• コーチ部は再帰的更新により、価値関数 $V_t^s$ をゆっくり学習する：$V_t^s = (1 - \alpha_t)V_{t-1}^s + \alpha_t \rho_t^s$。
• コーチは $Q_t^s y^s$ と $x_t^{s\top} Q_t^s y^s$ の $\varepsilon$-近似 $\ell_t^s$ と $\rho_t^s$ を用いてQ値および価値関数を推定する。
• 合理性の証明のため、単一行動相手を持つ修正ゲームを構築し、方策更新が最適応答ダイナミクスを模倣することを示す。
• 構造的仮定（定常方策によって誘導されるマルコフ連鎖の非可約性など）の下で、誤差の解析と帰納法を用いて収束を確立する。
• アルゴリズムは対称的で、相手の行動を事前に知る必要がない無知型であり、ローカルフィードバックのみで実行可能な分散型設計である。

実験結果

リサーチクエスチョン

• RQ1 分散型アルゴリズムは、無限時間枠の2人ゼロ和マルコフゲームにおいて、ナッシュ均衡への最後の反復収束を達成できるか？
• RQ2 このようなアルゴリズムは、自己対戦下で合理性（定常相手に対して最適応答）かつ収束性を両立できるか？
• RQ3 非凸かつ非凹な設定下でも、対称性と無知性を維持しながら有限時間収束を達成することは可能か？
• RQ4 OGDAは、状態依存のダイナミクスと価値関数を有するマルコフゲームにどのように拡張できるか？
• RQ5 ゆっくり更新されるコーチは、方策学習の安定化と収束の実現にどのような役割を果たすか？

主な発見

• 提案されたアルゴリズムは、無限時間枠の2人ゼロ和マルコフゲームにおける自己対戦下で、ナッシュ均衡の集合への有限時間内最後の反復収束を達成する。
• アルゴリズムは合理性を有する：相手が定常方策を使用する場合、エージェントの方策は最適応答に収束する。
• アルゴリズムは対称的で、無知型かつ分散型である。相手の行動を知る必要はなく、グローバルな調整も不要である。
• コーチのゆっくりとした更新により安定性が確保され、収束速度は勾配および価値近似の推定誤差に依存する。
• 構造的仮定（定常方策によって誘導されるマルコフ連鎖の非可約性など）の下で、アルゴリズムの収束が頑健であることが解析で示された。
• 本設定において、合理性、最後の反復収束、無知性、対称性の4つの性質を同時に満たす最初のアルゴリズムである。