[論文レビュー] Stochastic Potential Games

David Mguni|arXiv (Cornell University)|May 27, 2020

Game Theory and Applications参考文献 38被引用数 4

ひとこと要約

本稿では、マルコフ完璧ナッシュ均衡（MP-NE）を多項式時間で計算可能な、N人非ゼロ和確率ゲームの扱いやすい部分クラスとして、確率的ポテンシャルゲーム（SPG）を導入する。二重マルコフ決定過程を活用することで、2人を超えるプレイヤーに対しても効率的な均衡計算が可能となり、一般の確率ゲームが有するPSPACE困難性を克服する。

ABSTRACT

Computing the Nash equilibrium (NE) for N-player non-zerosum stochastic games is a formidable challenge. Currently, algorithmic methods in stochastic game theory are unable to compute NE for stochastic games (SGs) for settings in all but extreme cases in which the players either play as a team or have diametrically opposed objectives in a two-player setting. This greatly impedes the application of the SG framework to numerous problems within economics and practical systems of interest. In this paper, we provide a method of computing Nash equilibria in nonzero-sum settings and for populations of players more than two. In particular, we identify a subset of SGs known as stochastic potential games (SPGs) for which the (Markov perfect) Nash equilibrium can be computed tractably and in polynomial time. Unlike SGs for which, in general, computing the NE is PSPACE-hard, we show that SGs with the potential property are P-Complete. We further demonstrate that for each SPG there is a dual Markov decision process whose solution coincides with the MP-NE of the SPG. We lastly provide algorithms that tractably compute the MP-NE for SGs with more than two players.

研究の動機と目的

• 一般のN人確率ゲームにおけるナッシュ均衡の計算困難性（通常はPSPACE困難）に対処すること。
• ナッシュ均衡を効率的に計算可能な確率ゲームの扱いやすい部分クラス—確率的ポテンシャルゲーム（SPG）—を同定すること。
• SPGが、そのMP-NEをもたらす二重マルコフ決定過程（dual MDP）を備えていることを示すこと。
• 2人を超えるプレイヤーを含む確率ゲームにおけるMP-NEの計算に適したスケーラブルなアルゴリズムを提供すること。

提案手法

• 確率ゲームにおけるポテンシャル性を同定し、ゲームの報酬構造がプレイヤーのインcentiveを統合するポテンシャル関数と整合することを保証する。
• SPGがP-完全（P-Complete）であることを証明し、一般の確率ゲームがPSPACE困難であるのとは対照的に、多項式時間で解けることを示す。
• 最適方策がSPGのMP-NEに正確に一致する二重マルコフ決定過程（MDP）を構築する。
• SPGとその二重MDPの双対性を活用し、均衡計算を1人称計画問題に変換する。
• 二重MDPを解くことでMP-NEを計算するスケーラブルなアルゴリズムを設計し、2人を超えるプレイヤーを含むゲームへの適用を可能にする。
• 解法が計算的に効率的で、多項式時間で実行可能であることを保証し、実用的システムへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2人ゼロ和ゲームやチームプレイの特殊ケースを超えて、N人非ゼロ和確率ゲームにおけるナッシュ均衡は、どのようにして効率的に計算可能か？
• RQ2 どの構造的性質が、確率ゲームにおけるナッシュ均衡の多項式時間計算を可能にするか？
• RQ3 確率的ポテンシャルゲームのマルコフ完璧ナッシュ均衡を計算するために、二重マルコフ決定過程が利用可能か？
• RQ4 SPGにおけるポテンシャル関数は、多プレイヤー設定における均衡の存在と計算にどのように関係するか？

主な発見

• 確率的ポテンシャルゲーム（SPG）は、マルコフ完璧ナッシュ均衡（MP-NE）の計算が扱いやすく、多項式時間で解ける確率ゲームの部分クラスである。
• 一般の確率ゲームがPSPACE困難であるのに対し、SPGはP-完全であるため、計算複雑性が著しく低減されている。
• すべてのSPGに対して、その解が元のゲームのMP-NEをもたらす二重マルコフ決定過程が存在する。
• 提案手法により、2人を超えるプレイヤーを含む確率ゲームにおけるMP-NEの計算が可能となり、従来の扱いやすい方法の範囲を超えた。
• SPGとその二重MDPの双対性により、均衡計算が1人称最適化問題に還元可能である。
• 本稿で開発されたアルゴリズムは、複雑なマルチエージェント確率的環境における均衡計算に対して、スケーラブルで効率的な手法を提供する。