[論文レビュー] Sample-Efficient Reinforcement Learning of Partially Observable Markov Games

Qinghua Liu, Csaba Szepesvári+1 more|arXiv (Cornell University)|Jun 2, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、弱い可視性を持つ部分的に観測可能なマルコフゲーム（POMG）における標本効率的強化学習のための新規アルゴリズム、OMLE-Equilibrium および OMLE-Adversary を提案する。最適性と最尤推定（MLE）を組み合わせることで、自己対戦における均衡の探索において多項式的標本複雑性を達成し、敵対的相手に対する部分線形レギュレートを実現する。これは、包括的なPOMGクラスにおける最初の理論的保証付きの標本効率的結果を示している。

ABSTRACT

This paper considers the challenging tasks of Multi-Agent Reinforcement Learning (MARL) under partial observability, where each agent only sees her own individual observations and actions that reveal incomplete information about the underlying state of system. This paper studies these tasks under the general model of multiplayer general-sum Partially Observable Markov Games (POMGs), which is significantly larger than the standard model of Imperfect Information Extensive-Form Games (IIEFGs). We identify a rich subclass of POMGs -- weakly revealing POMGs -- in which sample-efficient learning is tractable. In the self-play setting, we prove that a simple algorithm combining optimism and Maximum Likelihood Estimation (MLE) is sufficient to find approximate Nash equilibria, correlated equilibria, as well as coarse correlated equilibria of weakly revealing POMGs, in a polynomial number of samples when the number of agents is small. In the setting of playing against adversarial opponents, we show that a variant of our optimistic MLE algorithm is capable of achieving sublinear regret when being compared against the optimal maximin policies. To our best knowledge, this work provides the first line of sample-efficient results for learning POMGs.

研究の動機と目的

• エージェントが局所的情報しか観測できない部分的観測下におけるマルチエージェント強化学習（MARL）における理論的理解の不足に取り組む。
• 一般のPOMGにおける学習の統計的・計算的非効率性を克服するため、取り扱い可能な部分クラスを同定する：弱い可視性を持つPOMG。
• 観測がマルコフ的でないことに加え、戦略的相互作用が存在する状況でも、自己対戦および敵対的設定において均衡を学習する標本効率的アルゴリズムを開発する。
• POMGにおける均衡探索とレギュレート最小化の両方に対して理論的保証を確立し、IIEFGのような制限付きモデルにとどまらない拡張を実現する。

提案手法

• 弱い可視性を持つPOMGと呼ばれるPOMGの新クラスを提案する。ここでは、連携観測が潜在状態に関する十分な情報を提供するため、効率的学習が可能になる。
• 最適性とMLEを組み合わせたOMLE-Equilibriumを設計する。これにより、モデルの信頼領域を構築し、近似的なナッシュ均衡、相関均衡、粗い相関均衡の効率的学習が可能になる。
• トラジェクトリから遷移および観測モデルを推定するための緩和されたMLEアプローチを用い、データ量の増加に伴い信頼領域が収縮することを保証する。
• 敵対的設定では、OMLE-Equilibriumを変更してOMLE-Adversaryを構築する。これは信頼領域内の最も楽観的なモデルを計算し、そのモデル下での最大最小価値に基づいて方策を選択する。
• 対戦相手の方策に依存しない対数尤度差の性質を活用し、学習者が相手の方策を知らない状態でも信頼領域を構築可能であることを示す。
• 信頼領域の構築が連携方策に依存しないことを証明することで、相手の戦略を事前に知らなくても分散的かつ効率的な実装が可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 IIEFGのような制限付きモデルを超える、包括的な部分的観測マルチエージェントゲームクラスにおいて、標本効率的学習が可能か？
• RQ2 弱い可視性を持つPOMGにおいて、自己対戦で近似的な均衡を多項式的標本複雑性で探索できるアルゴリズムは設計可能か？
• RQ3 他のプレイヤーの観測と行動のリプレイデータにアクセス可能な場合、POMGにおいて敵対的相手に対する学習で部分線形レギュレートを達成できるか？
• RQ4 POMGにどのような構造的条件が、部分的観測と戦略的相互作用の下でも、理論的に効率的学習を可能にするか？
• RQ5 単一ステップの弱い可視性を持つPOMGで得られた肯定的結果は、多段階設定へと拡張可能か？

主な発見

• OMLE-Equilibriumは、自己対戦において弱い可視性を持つPOMGで、近似的なナッシュ均衡、相関均衡、粗い相関均衡の探索に多項式的標本複雑性を達成する。
• OMLE-Adversaryは、学習者がゲーム終了後に他のプレイヤーの観測と行動のリプレイデータにアクセス可能な場合、仮定1のもとで敵対的相手に対して Õ(√k) のレギュレートで抑えられる。
• このレギュレートバウンドはすべての k ∈ [K] に対して、確率 1−δ で成り立ち、状態空間 S、行動空間 A、観測空間 O、ホライズン H、精度 α といったシステムパラメータの多項式関数に依存する。
• 信頼領域の構築は連携方策に依存しないため、相手の戦略を事前に知らなくても分散的実装が可能である。
• 否定的結果として、多段階の弱い可視性を持つPOMGに部分線形レギュレートの保証を拡張することは、一般には不可能であることが示された。これは、完全なリプレイデータが利用可能であっても同様である。
• 本研究は、包括的なPOMGクラスにおける学習について、理論的に保証された標本効率的結果を初めて提供し、IIEFG や POMDP に限った先行理論的研究を著しく拡張した。