[論文レビュー] Feature-Based Q-Learning for Two-Player Stochastic Games

Zeyu Jia, Lin F. Yang+1 more|arXiv (Cornell University)|Jun 2, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 24

ひとこと要約

本稿では、サンプリングを用いてナッシュ均衡戦略を近似する、2人零和確率ゲームの特徴ベースQ学習アルゴリズムを提案する。高確率で $\tilde{\mathbf{O}}(K/((1-\rho)^4\boldsymbol{\rho}^2))$ のサンプル複雑度を達成する。ここで $K$ は特徴の数、$\rho$ は割引因子であり、従来の境界を著しく改善し、ゲームの次元に依存しないサンプル、時間、空間の効率性を保証する。

ABSTRACT

Consider a two-player zero-sum stochastic game where the transition function can be embedded in a given feature space. We propose a two-player Q-learning algorithm for approximating the Nash equilibrium strategy via sampling. The algorithm is shown to find an $ε$-optimal strategy using sample size linear to the number of features. To further improve its sample efficiency, we develop an accelerated algorithm by adopting techniques such as variance reduction, monotonicity preservation and two-sided strategy approximation. We prove that the algorithm is guaranteed to find an $ε$-optimal strategy using no more than $ ilde{\mathcal{O}}(K/(ε^{2}(1-γ)^{4}))$ samples with high probability, where $K$ is the number of features and $γ$ is a discount factor. The sample, time and space complexities of the algorithm are independent of original dimensions of the game.

研究の動機と目的

• 関数近似を用いた2人零和確率ゲームを解くための、証明可能に効率的なアルゴリズムの不足に対処すること。
• ゼロサム確率ゲームにおける未知の遷移モデルと高次元の状態行動空間の課題を克服すること。
• 有限の状態行動特徴集合を用いてナッシュ均衡を近似する、サンプル効率の良いアルゴリズムを開発すること。
• 特徴数 $K$、割引因子 $(1-\rho)$、所望の精度 $\boldsymbol{\rho}$ に対して、最適なサンプル複雑度スケーリングを達成すること。

提案手法

• 2人零和確率ゲームにおけるQ値関数の近似に特徴ベース表現を用いる2人Q学習アルゴリズムを提案する。
• 遷移を生成するためのサンプリングオракルを採用し、遷移モデルの明示的知識なしにオンライン学習を可能にする。
• 収束速度の向上とサンプル効率の向上を図るため、分散低減技術と単調性保持メカニズムを導入する。
• 両側の戦略近似スキームを用いて、均衡価値を上界と下界から抑え込み、2つの近似戦略を組み合わせて $\boldsymbol{\rho}$-最適戦略を形成する。
• 次元削減を図るため、遷移モデルの特徴埋め込みを適用し、時間、空間、サンプル複雑度が $K$ と $1/(1-\rho)$ に対して多項式的に依存することを保証する。
• 集中不等式とモデル不適合下での安定性バウンディングを用いて、高確率で $\boldsymbol{\rho}$-最適戦略への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 特徴ベース関数近似を用いた2人確率ゲームにおいて、$\boldsymbol{\rho}$-最適戦略を求めるために必要な最小サンプル数は何か？
• RQ2 Q学習風のアルゴリズムは、2人設定におけるMDPの情報理論的下界に匹敵するサンプル効率を達成できるか？
• RQ3 分散低減と単調性保持は、2人Q学習のサンプル複雑度をどのように改善するか？
• RQ4 モデル不適合は、特徴ベース2人Q学習の性能にどのような影響を与えるか？
• RQ5 アルゴリズムは、元のゲームの状態空間および行動空間の次元に依存せずに、サンプル、時間、空間の効率性を維持できるか？

主な発見

• 基本的な2人Q学習アルゴリズムは、$\boldsymbol{\rho}$-最適戦略を求めるために $\tilde{\mathbf{O}}(K/((1-\rho)^7\boldsymbol{\rho}^2))$ のサンプル複雑度を達成する。
• 分散低減と両側近似を組み合わせた加速アルゴリズムにより、サンプル複雑度は $\tilde{\mathbf{O}}(K/((1-\rho)^4\boldsymbol{\rho}^2))$ に低減され、対数要因を除いて情報理論的下界と一致する。
• アルゴリズムのサンプル、時間、空間複雑度は $K$ と $1/(1-\rho)$ に対して多項式的に依存し、元の状態空間および行動空間の次元とは独立する。
• モデル不適合下では、真のモデルにおける $\boldsymbol{\rho}$-最適戦略が摂動モデルにおいては $(2\boldsymbol{\rho}/(1-\rho)^2 + 2\boldsymbol{\rho})$-最適戦略のまま保たれることを示す。
• 本稿で提案されたアルゴリズムは、特徴ベース関数近似を用いた2人確率ゲームにおいて、証明可能な最適サンプル複雑度を達成する最初のアルゴリズムである。
• 理論的分析により、高確率で $\boldsymbol{\rho}$-最適戦略への収束が確認され、推定誤差と方策の非最適性に対する厳密なバウンディングが得られている。