[論文レビュー] Learning Zero-Sum Simultaneous-Move Markov Games Using Function Approximation and Correlated Equilibrium

Qiaomin Xie, Yudong Chen+2 more|arXiv (Cornell University)|Feb 17, 2020

Reinforcement Learning in Robotics参考文献 87被引用数 5

ひとこと要約

本稿は、線形関数近似を用いた同時手番のゼロサムマルコフゲームにおける、初めての理論的効率性が保証される強化学習アルゴリズムを提案する。相関均衡を用いた楽観的ミニマックス値反復法を導入し、探索を可能にした。追加のサンプリング仮定なしに、$×sim O(\sqrt{d^3 H^3 T})$ のレギュレートと双対ギャップの上限を達成した。

ABSTRACT

We develop provably efficient reinforcement learning algorithms for two-player zero-sum finite-horizon Markov games with simultaneous moves. To incorporate function approximation, we consider a family of Markov games where the reward function and transition kernel possess a linear structure. Both the offline and online settings of the problems are considered. In the offline setting, we control both players and aim to find the Nash Equilibrium by minimizing the duality gap. In the online setting, we control a single player playing against an arbitrary opponent and aim to minimize the regret. For both settings, we propose an optimistic variant of the least-squares minimax value iteration algorithm. We show that our algorithm is computationally efficient and provably achieves an $ ilde O(\sqrt{d^3 H^3 T} )$ upper bound on the duality gap and regret, where $d$ is the linear dimension, $H$ the horizon and $T$ the total number of timesteps. Our results do not require additional assumptions on the sampling model. Our setting requires overcoming several new challenges that are absent in Markov decision processes or turn-based Markov games. In particular, to achieve optimism with simultaneous moves, we construct both upper and lower confidence bounds of the value function, and then compute the optimistic policy by solving a general-sum matrix game with these bounds as the payoff matrices. As finding the Nash Equilibrium of a general-sum game is computationally hard, our algorithm instead solves for a Coarse Correlated Equilibrium (CCE), which can be obtained efficiently. To our best knowledge, such a CCE-based scheme for optimism has not appeared in the literature and might be of interest in its own right.

研究の動機と目的

• 高次元で複雑な環境における関数近似を伴うマルチエージェント強化学習の理論的保証の欠如に対処する。
• 環境の遷移モデルやサンプリングオракルにアクセスできない状況下でも、2人ゼロサム同時手番マルコフゲームに対して理論的効率性を保証するアルゴリズムを開発する。
• 同時手番構造における探索と楽観的推定の課題を、価値関数の上界と下界の信頼区間を構築することで克服する。
• 線形構造のもとで、オフライン（ナッシュ均衡のduality gap最小化）およびオンライン（レギュレート最小化）の両設定において、効率的な学習を可能にする。
• 計算的に難しいナッシュ均衡問題を回避しつつ理論的保証を維持する、新しいCCEベースの楽観的メカニズムを提供する。

提案手法

• 最小二乗推定を用いて信頼区間を伴う価値関数を学習する、楽観的ミニマックス値反復（OMNI-VI）アルゴリズムを提案する。
• 同時手番設定における楽観的推定を可能にするために、価値関数の上界と下界の信頼区間を構築する。
• 信頼区間行列を報酬として用いる一般和行列ゲームの定式化により、楽観的方策を計算する。
• 計算が困難なナッシュ均衡の計算を、計算的に効率的で有界な摂動に対して安定な粗い相関均衡（CCE）の解法に置き換える。
• 既知の$d$次元特徴写像でパラメータ化された遷移カーネルと報酬関数の線形構造を活用する。
• 連続的な重みベクトルを$×varepsilon / \sqrt{d}$ の誤差内で近似するための離散化スキームを適用し、高次元空間における効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似のもとで、ゼロサム同時手番マルコフゲームに対する理論的効率性が保証される強化学習アルゴリズムを設計できるか？
• RQ2 標準的な値反復がターンベース構造の欠如により失敗する同時手番ゲームにおいて、どのように楽観的推定を効果的に実装できるか？
• RQ3 ナッシュ均衡の代替として、CCEを楽観的方策を構築するために計算的に実行可能な代替手段として使用できるか？
• RQ4 追加のサンプリング仮定なしに、このような設定で達成可能な最適なレギュレートと双対ギャップの上限は何か？
• RQ5 報酬行列への摂動に対して、CCEの値はどれほど安定しているか？これはアルゴリズムの理論的保証に影響を及えるか？

主な発見

• 提案されたOMNI-VIアルゴリズムは、オンライン設定におけるレギュレートとオフライン設定における双対ギャップの両方で、$×sim O(\sqrt{d^3 H^3 T})$ の上界を達成した。
• アルゴリズムは計算的に効率的であり、サンプリングオラクルやモデル推定にアクセスする必要がないため、高次元環境に適している。
• ナッシュ均衡の代わりにCCEを用いることで、理論的性能保証を維持しつつ、効率的な方策計算が可能になった。
• 本稿では、CCEの値が報酬摂動に対してリプシッツ連続でないことが示され、安定性解析における重要な課題を浮き彫りにした。
• 反例により、報酬行列の小さな変更がCCEの結果に大きな変化をもたらす可能性があることが示されたが、信頼区間の構築によりアルゴリズムは依然としてロバストであることが保証された。
• 重みベクトルの離散化により、近似誤差が$\epsilon / \sqrt{d}$ 以内に抑えられ、高次元線形モデルにおける効率的実装が可能になった。