[論文レビュー] Almost Optimal Algorithms for Two-player Markov Games with Linear Function Approximation.

Zixiang Chen, Dongruo Zhou+1 more|arXiv (Cornell University)|Feb 15, 2021

Reinforcement Learning in Robotics参考文献 49被引用数 4

ひとこと要約

本稿では、線形関数近似を用いた2人ゼロ和マルコフゲームにおける、ナッシュ均衡を学習するための楽観的強化学習アルゴリズムであるNash-UCRL-VTRを提案する。線形遷移モデル下でのナッシュ均衡学習におけるレグレットバウンドが $˜{O}(dH\sqrt{T})$ に達し、これと一致する下界を示しており、近似的に最適な性能を示している。

ABSTRACT

We study reinforcement learning for two-player zero-sum Markov games with simultaneous moves in the finite-horizon setting, where the transition kernel of the underlying Markov games can be parameterized by a linear function over the current state, both players' actions and the next state. In particular, we assume that we can control both players and aim to find the Nash Equilibrium by minimizing the duality gap. We propose an algorithm Nash-UCRL-VTR based on the principle Optimism-in-Face-of-Uncertainty. Our algorithm only needs to find a Coarse Correlated Equilibrium (CCE), which is computationally very efficient. Specifically, we show that Nash-UCRL-VTR can provably achieve an $ ilde{O}(dH\sqrt{T})$ regret, where $d$ is the linear function dimension, $H$ is the length of the game and $T$ is the total number of steps in the game. To access the optimality of our algorithm, we also prove an $ ilde{\Omega}( dH\sqrt{T})$ lower bound on the regret. Our upper bound matches the lower bound up to logarithmic factors, which suggests the optimality of our algorithm.

研究の動機と目的

• 同時手番の2人ゼロ和マルコフゲームにおけるナッシュ均衡を学習する、証明可能に効率的なアルゴリズムの開発。
• 状態、行動、次状態に対して線形にパラメータ化された遷移カーネルを扱う環境への適応。
• 不確実性の面前での楽観的アプローチを活用して双対ギャップを最小化。
• コarse correlated equilibrium（CCE）計算に依存することで、計算効率を保証。
• 情報理論的下界まで対数因子を除きタイトなレグレットバウンドの確立。

提案手法

• 探索と活用のバランスを図るために、不確実性の面前での楽観的原則（OFU）を採用。
• 状態、両プレイヤーの行動、次状態の線形関数として遷移カーネルをモデル化するための線形関数近似を用いる。
• 各段階でコarse correlated equilibrium（CCE）を計算し、計算が容易でありながらナッシュ均衡への収束に十分である。
• 価値関数推定の信頼区間を維持し、探索を誘導。
• 楽観的な価値推定に基づいてポリシーを更新することで、レグレットを最小化。
• レグレット解析には、分散に配慮した集中不等式と、双対ギャップの新規な分解を用いる。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いた2人ゼロ和マルコフゲームに対して、証明可能に効率的なアルゴリズムを設計できるか？
• RQ2 線形遷移モデル下で、このようなゲームにおける最適なレグレットは何か？
• RQ3 計算の実行可能性を保ちながら、近似的に最適なレグレットを達成できるか？
• RQ4 完全なナッシュ均衡計算と比較して、コarse correlated equilibrium（CCE）の使用は、効率性と性能の面でどのように異なるか？
• RQ5 この設定における情報理論的下界としてのレグレットの下限は何か？

主な発見

• 提案されたアルゴリズムNash-UCRL-VTRは、$˜{O}(dH\sqrt{T})$ のレグレットバウンドを達成する。ここで $d$ は線形関数の次元、$H$ はホライズン、$T$ は合計ステップ数を表す。
• このレグレットバウンドは、対応する $˜{\Omega}(dH\sqrt{T})$ の下界と一致しており、対数因子を除き近似的に最適性を示している。
• アルゴリズムは各ステップでコarse correlated equilibrium（CCE）を計算するのみで、計算効率が保証される。
• 不確実性の面前での楽観的アプローチにより、明示的なナッシュ均衡計算を必要とせずに、効果的な探索が可能になる。
• 理論的解析により、同時手番の2人ゼロ和マルコフゲームに線形関数近似を適用した場合のタイトなレグレットバウンドが確立された。
• 結果として、アルゴリズムがレグレットスケーリングにおいて、対数因子を除き最適であることが示された。