[論文レビュー] Provably Efficient Policy Gradient Methods for Two-Player Zero-Sum Markov Games.

Yulai Zhao, Yuandong Tian+2 more|arXiv (Cornell University)|Feb 17, 2021

Reinforcement Learning in Robotics参考文献 59被引用数 8

ひとこと要約

本稿では、関数近似を伴う2人零和マルコフゲームにおける、初めての証明可能に効率的な方策勾配法を提示する。これは、自然方策勾配法の拡張である。濃縮係数と近似誤差に依存するサンプル数および反復回数の複雑さの上限を確立し、この設定におけるこのような手法の最初の定量的分析を提供する。

ABSTRACT

Policy gradient methods are widely used in solving two-player zero-sum games to achieve superhuman performance in practice. However, it remains elusive when they can provably find a near-optimal solution and how many samples and iterations are needed. The current paper studies natural extensions of Natural Policy Gradient algorithm for solving two-player zero-sum games where function approximation is used for generalization across states. We thoroughly characterize the algorithms' performance in terms of the number of samples, number of iterations, concentrability coefficients, and approximation error. To our knowledge, this is the first quantitative analysis of policy gradient methods with function approximation for two-player zero-sum Markov games.

研究の動機と目的

• 関数近似を伴う2人零和マルコフゲームにおける方策勾配法の理論的保証の欠如に対処すること。
• この設定における方策勾配アルゴリズムのサンプル複雑さと反復複雑さを同定すること。
• 濃縮係数と近似誤差がアルゴリズムの収束に与える影響を定量化すること。
• 競争的強化学習における方策勾配法の実用的成功を裏付ける厳密な理論的基盤を提供すること。

提案手法

• 関数近似を伴う2人零和マルコフゲームに、自然方策勾配法を拡張する。
• 分布シフトを制御するための濃縮係数を組み込んだ、新規の分析フレームワークを導入する。
• 関数近似を用いて状態間で方策を一般化し、大規模な状態空間へのスケーラビリティを実現する。
• 方策勾配更新が方策多様体の幾何構造に関連することを示し、収束保証を導出する。
• 零和ゲームのミニマックス構造を扱うために、双対最適化の視点を採用する。
• 近似誤差とアルゴリズムの収束速度の間の相互作用を分析する。

実験結果

リサーチクエスチョン

• RQ1 関数近似を伴う方策勾配法は、2人零和マルコフゲームにおいて、近似的最適解に証明可能に収束できるか？
• RQ2 収束に必要なサンプル数と反復回数は何か？ そして、濃縮係数と近似誤差にどのように依存するか？
• RQ3 濃縮係数は、この設定における方策勾配法のサンプル効率にどのように影響するか？
• RQ4 関数近似を伴う方策勾配アルゴリズムにおいて、近似誤差と収束速度の理論的トレードオフは何か？
• RQ5 関数近似と分布シフトの両方を考慮した収束速度の形式的特徴付けは存在するか？

主な発見

• 提案された方策勾配法は、関数近似を伴う2人零和マルコフゲームにおいて、近似的最適解への証明可能な収束を達成する。
• サンプル複雑さは、オンポリシー分布と行動分布の間の乖離を測る濃縮係数に比例する。
• 反復複雑さは、近似誤差と方策空間の幾何構造の関数によって上限が与えられる。
• 分析により、近似誤差と収束速度の間の形式的トレードオフが確立され、誤差が小さいほど収束が速くなることが示された。
• 本手法は、このクラスのゲームにおける方策勾配法の、初めての定量的サンプル複雑さおよび反復複雑さの上限を提供する。
• 結果は、濃縮性と滑らかさに関するやや緩い仮定の下で、関数近似を伴う自然方策勾配法が証明可能に効率的であることを示している。