[論文レビュー] A Sharp Analysis of Model-based Reinforcement Learning with Self-Play

Qinghua Liu, Tiancheng Yu+2 more|arXiv (Cornell University)|Oct 4, 2020

Reinforcement Learning in Robotics参考文献 26被引用数 6

ひとこと要約

本稿では、2人ゼロ和マルコフゲームにおけるモデルベース自己対戦アルゴリズムであるオプティミスティック・ネッシュ価値反復（Nash-VI）を提案する。このアルゴリズムは、$ olimitsacksim{ extstyle\widetilde{\mathcal{O}}(H^3 S A B / \epsilon^2)}$ のサンプル複雑度を達成し、情報理論的下界に対して $ olimitsacksim{\min\{A,B\}}$ 要因の違いを除いて一致する。従来のモデルベース手法を改善し、最新のモデルフリー手法と同等またはそれ以上の効率性を発揮する一方で、1つのマルコフ方策を出力するため、従来のモデルフリー手法が生成する複雑な方策のネスト構造よりも実用的である。

ABSTRACT

Model-based algorithms -- algorithms that explore the environment through building and utilizing an estimated model -- are widely used in reinforcement learning practice and theoretically shown to achieve optimal sample efficiency for single-agent reinforcement learning in Markov Decision Processes (MDPs). However, for multi-agent reinforcement learning in Markov games, the current best known sample complexity for model-based algorithms is rather suboptimal and compares unfavorably against recent model-free approaches. In this paper, we present a sharp analysis of model-based self-play algorithms for multi-agent Markov games. We design an algorithm -- Optimistic Nash Value Iteration (Nash-VI) for two-player zero-sum Markov games that is able to output an $ε$-approximate Nash policy in $ ilde{\mathcal{O}}(H^3SAB/ε^2)$ episodes of game playing, where $S$ is the number of states, $A,B$ are the number of actions for the two players respectively, and $H$ is the horizon length. This significantly improves over the best known model-based guarantee of $ ilde{\mathcal{O}}(H^4S^2AB/ε^2)$, and is the first that matches the information-theoretic lower bound $Ω(H^3S(A+B)/ε^2)$ except for a $\min\{A,B\}$ factor. In addition, our guarantee compares favorably against the best known model-free algorithm if $\min \{A,B\}=o(H^3)$, and outputs a single Markov policy while existing sample-efficient model-free algorithms output a nested mixture of Markov policies that is in general non-Markov and rather inconvenient to store and execute. We further adapt our analysis to designing a provably efficient task-agnostic algorithm for zero-sum Markov games, and designing the first line of provably sample-efficient algorithms for multi-player general-sum Markov games.

研究の動機と目的

• マルチエージェント強化学習におけるモデルベース手法とモデルフリー手法のサンプル複雑度のギャップを埋めること。
• 2人ゼロ和マルコフゲームに対して、最適なサンプル効率性を保証する、証明可能な効率性を持つモデルベースアルゴリズムを開発すること。
• タスクに依存しない、サンプル効率の良いアルゴリズムをゼロ和ゲームに設計し、そのフレームワークを多人数一般和ゲームに拡張すること。
• ネストされた方策の混合構造を避けるために、1つのマルコフ方策を出力すること。

提案手法

• オプティミスティック価値反復と信頼区間を統合したモデルベース自己対戦アルゴリズム「Nash-VI」を提案し、方策学習に用いる。
• 遷移および報酬モデルの推定誤差を制御するため、一様濃度境界を用いることで、不確実性に対するロバストネスを確保する。
• すべてのステップと状態において真の価値関数と推定価値関数の差を追跡する、新しい分析フレームワークを導入する。
• 訪問回数の逆平方根に比例する信頼区間ボーナス $\beta_t$ を導入し、探索と活用のバランスを取る。
• 方策更新ルールを適切に変更することで、ネッシュ均衡と相関均衡の両方を扱えるようにアルゴリズムを拡張する。
• 多人数一般和マルコフゲームへの分析を拡張し、この設定において初の証明可能なサンプル効率性を持つアルゴリズムを確立する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース手法は、2人ゼロ和マルコフゲームにおいて最適なサンプル複雑度を達成できるか？
• RQ2 提案されたアルゴリズムNash-VIは、サンプル複雑度の情報理論的下界と一致するか？
• RQ3 方策表現の複雑さを考慮した場合、モデルベース手法とモデルフリー手法のサンプル効率性はどのように比較されるか？
• RQ4 このフレームワークは、タスクに依存しない一般和多人数マルコフゲームに拡張可能か？
• RQ5 サンプル効率性を維持しつつ、1つのマルコフ方策を出力するモデルベースアルゴリズムを設計することは可能か？

主な発見

• 提案されたNash-VIアルゴリズムは、サンプル複雑度 $\widetilde{\mathcal{O}}(H^3 S A B / \epsilon^2)$ を達成し、情報理論的下界 $\Omega(H^3 S (A+B) / \epsilon^2)$ に対して $\min\{A,B\}$ 要因の違いを除いて一致する。
• このサンプル複雑度は、従来の最良のモデルベース保証 $\widetilde{\mathcal{O}}(H^4 S^2 A B / \epsilon^2)$ より顕著に改善されている。
• Nash-VIは、$\min\{A,B\} = o(H^3)$ の場合、最良の既知のモデルフリー手法（Nash V-Learning）を上回り、特定の条件下でより優れたサンプル効率性を示す。
• Nash-VIは、従来のモデルフリー手法が生成する非マルコフ的で保存・実行が困難なネストされた方策の混合構造を避けるために、1つのマルコフ方策を出力する。
• 分析は、ゼロ和ゲーム向けのタスクに依存しないアルゴリズムの設計および、多人数一般和マルコフゲームにおける初の証明可能なサンプル効率性を持つアルゴリズムへの拡張にまで拡張された。
• ネッシュ均衡および相関均衡の両方に対して、一様濃度境界と帰納的境界を用いた価値関数推定誤差の理論的保証が確立された。