[論文レビュー] Computing Approximate Nash Equilibria and Robust Best-Responses Using Sampling

Marc Ponsen, Steven de Jong+1 more|Research Publications (Maastricht University)|Jan 18, 2014

Sports Analytics and Performance参考文献 32被引用数 40

ひとこと要約

本稿では、部分的に観測可能な確率的ゲームにおける頑健なベストリスポンス戦略を計算するためのサンプリングベースのアルゴリズムであるモンテカルロ制限付きナッシュリスポンス（MCRNR）を提案する。MCCFR（モンテカルロ対応的後悔最小化）とRNR（制限付きナッシュリスポンス）を組み合わせることで、ナッシュ均衡戦略よりも非ナッシュ相手をより効果的に exploiting できるが、同時に搧発されにくく、収束が早く、ポーカー実験でも優れた性能を示す戦略を効率的に学習可能であることを示している。

ABSTRACT

This article discusses two contributions to decision-making in complex partially observable stochastic games. First, we apply two state-of-the-art search techniques that use Monte-Carlo sampling to the task of approximating a Nash-Equilibrium (NE) in such games, namely Monte-Carlo Tree Search (MCTS) and Monte-Carlo Counterfactual Regret Minimization (MCCFR). MCTS has been proven to approximate a NE in perfect-information games. We show that the algorithm quickly finds a reasonably strong strategy (but not a NE) in a complex imperfect information game, i.e. Poker. MCCFR on the other hand has theoretical NE convergence guarantees in such a game. We apply MCCFR for the first time in Poker. Based on our experiments, we may conclude that MCTS is a valid approach if one wants to learn reasonably strong strategies fast, whereas MCCFR is the better choice if the quality of the strategy is most important. Our second contribution relates to the observation that a NE is not a best response against players that are not playing a NE. We present Monte-Carlo Restricted Nash Response (MCRNR), a sample-based algorithm for the computation of restricted Nash strategies. These are robust best-response strategies that (1) exploit non-NE opponents more than playing a NE and (2) are not (overly) exploitable by other strategies. We combine the advantages of two state-of-the-art algorithms, i.e. MCCFR and Restricted Nash Response (RNR). MCRNR samples only relevant parts of the game tree. We show that MCRNR learns quicker than standard RNR in smaller games. Also we show in Poker that MCRNR learns robust best-response strategies fast, and that these strategies exploit opponents more than playing a NE does.

研究の動機と目的

• 複雑な部分的に観測可能な確率的ゲームにおいて、非ナッシュ相手に対する高速かつ頑健なベストリスポンス戦略を計算するための手法を開発すること。
• 従来のナッシュ均衡戦略では、非最適な相手を効果的に exploiting できないという問題を改善すること。
• MCCFRの理論的収束性と、サンプリング技術を用いた制限付きナッシュリスポンス（RNR）の頑健性を統合すること。
• ゲームツリーの関連する部分のみをサンプリングすることで計算コストを低減し、スケーラビリティを向上させること。
• 特に、ノーリミット・テキサスホールデムポーカーを含む実世界の設定で、この手法を評価すること。

提案手法

• MCRNRは、関連する意思決定ポイントに焦点を当てた制限付きゲームツリーにおいて、モンテカルロサンプリングを用いて対応的価値を推定する。
• 理論的収束保証を持つ後悔最小化フレームワークをMCCFRに統合し、反復的に戦略の質を向上させる。
• アルゴリズムは、相手の行動のサブセットに制限されたリスポンス戦略を採用することで、ナッシュ戦略からの逸脱に対しても頑健性を確保する。
• 関連するゲーム状態のみをサンプリングすることで、全ツリーを用いたRNR手法と比較して計算オーバーヘッドを低減する。
• MCCFRの収束特性とRNRの搧発制御の焦点を統合し、戦力と頑健性のバランスを図る。
• この手法はノーリミット・テキサスホールデムポーカーに適用され、標準的RNRよりも迅速に戦略を学習する。

実験結果

リサーチクエスチョン

• RQ1 MCCFR や MCTS などのサンプリングベースの手法は、情報が不完全な確率的ゲームにおいて、ナッシュ均衡を近似的に得るために効果的に適応可能か？
• RQ2 小さなゲームにおいて、MCRNR は標準的 RNR と比較して収束速度と搧発可能性の面でどのように異なるか？
• RQ3 MCRNR は、ナッシュ均衡を採用する場合と比較して、非ナッシュ相手をどれほど効果的に exploiting できるか？
• RQ4 MCCFR と RNR をサンプリングによって統合することで、実際の応用において強力で頑健な戦略が得られるか？
• RQ5 ノーリミット・テキサスホールデムのような大規模ゲームにおいて、MCRNR はベースライン戦略と比較してどのように性能を発揮するか？

主な発見

• MCRNR は、小さなゲームにおいて、標準的 RNR よりも高速に頑健なベストリスポンス戦略を学習し、サンプル効率が向上していることを示した。
• ノーリミット・テキサスホールデムポーカーにおいて、MCRNR は RNR よりも著しく高速に強力で搧発可能な戦略に収束し、同時に低い搧発可能性を維持している。
• MCRNR 戦略は、ナッシュ均衡戦略を採用する場合よりも、非ナッシュ相手をより効果的に exploiting でき、実際の期待利得を高めている。
• MCTS は、迅速に強力な戦略を学習するのに有効であるが、ナッシュ均衡に収束しないため、理論的保証の観点では不適切である。
• MCCFR は、情報が不完全なゲームにおいてナッシュ均衡への理論的収束を提供する。本研究では、ポーカーへの応用が妥当であることが裏付けられた。
• MCCFR の収束性と、RNR の頑健性をサンプリングによって統合することで、実世界のゲーム理論的意思決定に実用的かつスケーラブルな手法が得られた。