[論文レビュー] The Power of Exploiter: Provable Multi-Agent RL in Large State Spaces

Chi Jin, Qinghua Liu+1 more|arXiv (Cornell University)|Jun 7, 2021

Reinforcement Learning in Robotics参考文献 53被引用数 5

ひとこと要約

本稿は、大規模な状態空間を有する2人零和マルコフゲームに対して、証明可能にサンプル効率な多エージェント強化学習アルゴリズムである Golf_with_Exploiter を導入する。『悪用者』エージェントを用いて主エージェントの弱みを戦略的に悪用することで、新しい複雑度測度である多エージェントベルマン＝エーラー次元を用いて多項式的サンプル複雑度を達成し、表形式、線形、カーネル、豊富な観測設定において効率的な学習を可能にする。

ABSTRACT

Modern reinforcement learning (RL) commonly engages practical problems with large state spaces, where function approximation must be deployed to approximate either the value function or the policy. While recent progresses in RL theory address a rich set of RL problems with general function approximation, such successes are mostly restricted to the single-agent setting. It remains elusive how to extend these results to multi-agent RL, especially due to the new challenges arising from its game-theoretical nature. This paper considers two-player zero-sum Markov Games (MGs). We propose a new algorithm that can provably find the Nash equilibrium policy using a polynomial number of samples, for any MG with low multi-agent Bellman-Eluder dimension -- a new complexity measure adapted from its single-agent version (Jin et al., 2021). A key component of our new algorithm is the exploiter, which facilitates the learning of the main player by deliberately exploiting her weakness. Our theoretical framework is generic, which applies to a wide range of models including but not limited to tabular MGs, MGs with linear or kernel function approximation, and MGs with rich observations.

研究の動機と目的

• 一般関数近似における多エージェント強化学習アルゴリズムの不足、特に大規模な状態空間における証明可能な効率性の欠如を解決すること。
• 標準的な単一エージェントの関数近似手法が失敗する、多エージェント設定における敵対的相手への適応の課題を克服すること。
• 単一エージェントの関数近似結果を多エージェントマルコフゲームに証明可能に拡張する理論的枠組みを構築すること。
• 多様なマルチエージェント強化学習（MARL）モデルの学習可能性を捉える統一された複雑度測度である多エージェントベルマン＝エーラー次元を提供すること。
• 状態空間のサイズに依存しないサンプル効率性を達成し、豊富な観測やニューラルネットワークによる関数近似器を含む複雑な環境への応用を可能にすること。

提案手法

• 主エージェントと専用の悪用者エージェントを維持する新しい自己対戦アルゴリズムである Golf_with_Exploiter を提案し、探索と方策改善を促進する。
• 悪用者エージェントを用いて、主エージェントの方策の弱みを意図的に標的にすることで、戦略的相互作用を通じてより効果的な学習を実現する。
• 単一エージェント版から拡張された新しい複雑度測度として、多エージェントベルマン＝エーラー（BE）次元を導入し、多エージェント設定における学習の本質的難易度を定量化する。
• 価値関数推定における楽観主義を適用し、価値関数の上界と下界を維持することで、探索を促進しながら理論的保証を維持する。
• オンラインからバッチへの還元と集中不等式を活用し、状態空間のサイズに依存しないサンプル複雑度の上限を導出する。
• 集中不等式と次元依存の境界を用いた、自己対戦と敵対的相手の両方を扱える、新しい分析フレームワークを用いて理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 一般関数近似を用いた大規模な状態空間における、証明可能にサンプル効率なマルチエージェント強化学習（MARL）アルゴリズムを設計できるか？
• RQ2 ゲーム理論的相互作用を伴う多エージェント設定において、単一エージェントの関数近似理論をどのように拡張できるか？
• RQ3 関数近似下での多エージェントマルコフゲームの学習可能性を特徴付けるために、どのような新しい複雑度測度が必要か？
• RQ4 悪用者メカニズムは、方策の弱みを標的にすることで、自己対戦MARLにおけるサンプル効率を向上させられるか？
• RQ5 提案されたアルゴリズムは、敵対的相手や非定常的行動に対してもサンプル効率性を維持できるか？

主な発見

• 提案された Golf_with_Exploiter アルゴリズムは、線形マルコフゲームにおいて $\tilde{\mathcal{O}}(H^{2}d^{2}/\epsilon^{2})$ のサンプル複雑度を達成し、先行研究で見られる次元 $d$ に対する立方則に比べて改善されている。
• 低多エージェントベルマン＝エーラー次元の仮定の下で、状態空間のサイズに依存せず、ナッシュ均衡方策への収束を保証する。
• 多エージェントベルマン＝エーラー次元は、表形式MG、線形MG、カーネルMG、豊富な観測を伴うMGなど、広範なモデルで低次元であることが示されている。
• 理論的枠組みは自己対戦とオンラインの両方の保証を提供し、敵対的相手に対してもロバストであることを保証する。
• $K$ をエピソード数として、$\mathcal{O}(H\sqrt{K\beta \cdot |\mathcal{A}||\mathcal{B}| \cdot \dim_{\textrm{VBE}}(\mathcal{F}, \epsilon/H)} + K\epsilon)$ のレグレットバウンドを達成する。
• 解析により、$K = \Omega\big{(}(H^{2}d/\epsilon^{2})\cdot\log(H|\mathcal{F}||\mathcal{G}|d/\epsilon)\big{)}$ エピソードの後には、高確率で $\mathcal{O}(\epsilon)$-最適方策が得られることを示している。ここで $d$ は VBE 次元である。