[論文レビュー] A Sampling-Based Approach to Computing Equilibria in Succinct Extensive-Form Games

Miroslav Dudı́k, Geoffrey J. Gordon|arXiv (Cornell University)|May 9, 2012

Game Theory and Applications参考文献 21被引用数 16

ひとこと要約

本稿では、強い構造的仮定を必要とせず、乗法的重み更新とマルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて、要約された展開形式ゲームにおける広範な形式の協調的均衡を計算するためのサンプリングベースのアルゴリズムを提案する。この手法は、社会的厚生などの均衡特性を制御可能にし、収束保証を提供する。中規模の複数プレイヤーゲームにおいて、従来の手法に比べてスケーラビリティと実用性に優れている。

ABSTRACT

A central task of artificial intelligence is the design of artificial agents that act towards specified goals in partially observed environments. Since such environments frequently include interaction over time with other agents with their own goals, reasoning about such interaction relies on sequential game-theoretic models such as extensive-form games or some of their succinct representations such as multi-agent influence diagrams. The current algorithms for calculating equilibria either work with inefficient representations, possibly doubly exponential inthe number of time steps, or place strong assumptions on the game structure. In this paper,we propose a sampling-based approach, which calculates extensive-form correlated equilibria with small representations without placing such strong assumptions. Thus, it is practical in situations where the previous approaches would fail. In addition, our algorithm allows control over characteristics of the target equilibrium, e.g., we can ask for an equilibrium with high social welfare. Our approach is based on a multiplicativeweight update algorithm analogous to AdaBoost, and Markov chain Monte Carlo sampling. We prove convergence guarantees and explore the utility of our approach on several moderately sized multi-player games.

研究の動機と目的

• 大規模で複数プレイヤーの要約された展開形式ゲームにおける均衡の計算という課題に取り組む。
• 従来のアルゴリズムが非効率な表現や強い構造的仮定に依存するという限界を克服する。
• 従来の手法が計算的に非効行であるため失敗するゲームにおいて、実用的でスケーラブルな広範な形式の協調的均衡の計算手法を開発する。
• 計算中に、社会的厚生などの均衡特性を最大化するなど、制御を可能にする。
• 提案されたサンプリングベースのアルゴリズムの収束に関する理論的保証を提供する。

提案手法

• AdaBoostにインspiredされた乗法的重み更新アルゴリズムを用い、サンプルされたゲーム結果に基づいて戦略を繰り返し精錬する。
• ゲームツリーの効率的な探索と期待利得の推定に、マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いる。
• すべての情報集合や行動列を明示的に列挙することを避けるために、ゲームのコンact表現に基づいて動作する。
• 繰り返しのサンプリングと重みの調整を通じて、連携行動プロファイル上の分布を維持・更新することにより、協調的均衡を計算する。
• 更新ルールに利得に基づく重み付けを組み込むことで、ユーザー定義の目的（例：社会的厚生の最大化）を実現できる。
• サンプリングフレームワーク下での乗法的重み更新プロセスの理論的分析により、収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 強い構造的仮定を必要とせず、要約された展開形式ゲームにおける均衡を効率的に計算するためのサンプリングベースの手法は可能か？
• RQ2 複雑な情報構造を持つ中規模の複数プレイヤーゲームにおいて、均衡計算をどのようにスケーラブルに実現できるか？
• RQ3 このアルゴリズムを、社会的厚生や公平性などの均衡特性の制御に拡張できるか？
• RQ4 サンプリングベースの乗法的重み更新プロセスにどのような理論的保証を提供できるか？
• RQ5 実際の運用において、従来の均衡計算手法と比較して、実行時間と解の質の点でどのように差がつくか？

主な発見

• 提案されたアルゴリズムは、従来の手法が計算複雑性のため失敗する中規模の複数プレイヤーの展開形式ゲームにおいて、広範な形式の協調的均衡を効果的に計算できた。
• ゲーム表現が要約されており、かつ巨大であっても、理論的保証のもとで均衡に収束することが確認された。
• MCMCサンプリングと乗法的重み更新を統合することで、全状態の列挙に伴う二重指数的爆発を回避した。
• 更新プロセスに利得に基づく重み付けを組み込むことで、社会的厚生の最大化といった均衡特性の明示的制御が可能になった。
• 実験的評価により、複数のベンチマークゲームで実用的な性能を示し、従来の均衡計算手法では到達できないスケーラビリティを達成した。
• 均衡の表現を小さく保つことができ、リアルタイムまたはインタラクティブなAIアプリケーションに適している。