[論文レビュー] Minimax Sample Complexity for Turn-based Stochastic Game

Qiwen Cui, Lin F. Yang|arXiv (Cornell University)|Nov 29, 2020

Reinforcement Learning in Robotics参考文献 24被引用数 5

ひとこと要約

この論文は、生成モデルから経験的ターンベース確率的ゲーム（TBSG）を学習し、計画によって解くというプラグインソルバー手法が、TBSGにおける近似ナッシュ均衡を求める際のミニマックス標本複雑度を達成することを確立している。吸収的TBSGと報酬摂動技術を導入することで、問題依存および問題独立の標本複雑度のタイトな境界を証明し、すべての$ε$値およびサブオプティマルティーガップにおいて最適であることを示している。

ABSTRACT

The empirical success of Multi-agent reinforcement learning is encouraging, while few theoretical guarantees have been revealed. In this work, we prove that the plug-in solver approach, probably the most natural reinforcement learning algorithm, achieves minimax sample complexity for turn-based stochastic game (TBSG). Specifically, we plan in an empirical TBSG by utilizing a `simulator' that allows sampling from arbitrary state-action pair. We show that the empirical Nash equilibrium strategy is an approximate Nash equilibrium strategy in the true TBSG and give both problem-dependent and problem-independent bound. We develop absorbing TBSG and reward perturbation techniques to tackle the complex statistical dependence. The key idea is artificially introducing a suboptimality gap in TBSG and then the Nash equilibrium strategy lies in a finite set.

研究の動機と目的

• ターンベース確率的ゲーム（TBSG）におけるモデルベース強化学習の理論的ギャップを埋めること。ここでは、先行研究がミニマックス標本複雑度の保証を欠いていた。
• 生成モデルオракル下で、経験的モデルを学習し、計画によって解くというプラグインソルバー手法が、TBSGにおいてミニマックス的に最適であることを確立すること。
• バンディットやMDPにおけるサブオプティマルティーガップの概念をTBSGに拡張し、それを用いてよりタイトな問題依存の標本複雑度境界を導出すること。
• TBSGにおけるエージェント間の相互作用に起因する複雑な統計的依存性を扱うために、新たな統計的ツール（吸収的TBSGと報酬摂動）を開発すること。

提案手法

• 統計的依存性を遷移確率にのみ集約するための吸収的TBSG変換を導入し、$ε$-カバーを用いた集中不等式による境界を可能にする。
• サブオプティマルティーガップ$\Delta$を制御的に設定することで、経験的ナッシュ均衡戦略が高確率で真の戦略と一致することを保証する報酬摂動を適用する。
• 経験的遷移および報酬モデルに対する和集合不等式と集中不等式を用い、Q値における推定誤差を境界付ける。
• TBSGの構造を活用して学習と計画を分離し、経験的モデル上で任意の計画アルゴリズムを適用可能にする。
• $\epsilon$と$\Delta$を変化させることで、問題依存および問題独立の標本複雑度を分析し、後者は既知の下界と一致することを示す。
• 標本サイズが$O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\Delta^{-2}\log(\cdots))$を超えると、経験的ナッシュ均衡戦略が正確に真のナッシュ均衡戦略と一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 プラグインソルバー手法は、ターンベース確率的ゲームでミニマックス標本複雑度を達成できるか？
• RQ2 生成モデル下で、TBSGにおける$\epsilon$-ナッシュ均衡を求めるための最もタイトな可能な標本複雑度は何か？
• RQ3 サブオプティマルティーガップ$\Delta$は、TBSGにおける問題依存境界を導出するためにどのように活用できるか？
• RQ4 マルチエージェント学習における非i.i.d.かつ依存的な構造を扱うために、どのような新しい統計的技術が必要か？
• RQ5 生成モデル設定下では、すべての$\epsilon$および$\Delta$値において最適な標本複雑度が達成可能か？

主な発見

• プラグインソルバー手法は、TBSGにおいてミニマックス標本複雑度を達成し、問題独立設定における既知の下界$O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\epsilon^{-2})$と一致する。
• 問題依存境界では、$O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\Delta^{-2}\log(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)\delta\Delta}))$の標本数で、高確率で真のナッシュ均衡戦略を回復できる。
• サブオプティマルティーガップ$\Delta$により、$\Delta \in (0, (1-\gamma)^{-1}]$の範囲で十分なサンプリングが行われると、真のナッシュ均衡戦略の正確な回復が可能になる。
• 吸収的TBSG技術は、経験的遷移モデルへの統計的依存性を1つのパラメータ$u$に集約し、集中に基づく解析を可能にした。
• 報酬摂動は、経験的ナッシュ均衡と真のナッシュ均衡が一致することを保証する制御されたギャップを生成し、正確な回復に不可欠である。
• 本研究は、生成モデル下でTBSGにおけるギャップ依存の標本複雑度境界を初めて確立した。これは、バンディットやMDPから導入された重要な概念を拡張したものである。