[論文レビュー] Mean Field Asymptotics of Markov Decision Evolutionary Games and Teams

Hamidou Tembiné, J.-Y. Le Boudec+2 more|arXiv (Cornell University)|Sep 13, 2011

Stochastic processes and statistical mechanics参考文献 6被引用数 5

ひとこと要約

本稿では、大規模な人口を持つマルコフ決定型進化的ゲームおよびチームゲームに対して、平均場漸近枠組みを導入し、プレイヤー数N→∞のとき、システムが非線形常微分方程式（ODE）によって支配される決定論的ジャンプ過程に弱収束することを示している。主な貢献は、有限Nの微視的ゲームとマクロ的平均場確率ゲームとの間の同等性であり、これによりODEに基づく近似を用いて近最適戦略の構築と均衡解析が可能になる。

ABSTRACT

We introduce Mean Field Markov games with $N$ players, in which each individual in a large population interacts with other randomly selected players. The states and actions of each player in an interaction together determine the instantaneous payoff for all involved players. They also determine the transition probabilities to move to the next state. Each individual wishes to maximize the total expected discounted payoff over an infinite horizon. We provide a rigorous derivation of the asymptotic behavior of this system as the size of the population grows to infinity. Under indistinguishability per type assumption, we show that under any Markov strategy, the random process consisting of one specific player and the remaining population converges weakly to a jump process driven by the solution of a system of differential equations. We characterize the solutions to the team and to the game problems at the limit of infinite population and use these to construct near optimal strategies for the case of a finite, but large, number of players. We show that the large population asymptotic of the microscopic model is equivalent to a (macroscopic) mean field stochastic game in which a local interaction is described by a single player against a population profile (the mean field limit). We illustrate our model to derive the equations for a dynamic evolutionary Hawk and Dove game with energy level.

研究の動機と目的

• 各プレイヤーがランダムに選ばれた他のプレイヤーと相互作用する大規模人口マルコフ決定型進化的ゲームの漸近的挙動を分析すること。
• N→∞の極限を厳密に導出し、個々のプレイヤーおよび集団プロセスが決定論的ODE駆動ジャンプ過程に弱収束することを示すこと。
• 有限Nの微視的ゲームとマクロ的平均場確率ゲームとの間の同等性を確立し、均衡および戦略解析を簡素化すること。
• 有限だが大きなNに対して、極限ODE系を用いて近最適戦略を構築すること。
• 動的進化的ハクドリ・ダウ・ゲームにエネルギー状態を組み込んだフレームワークを適用し、平均場極限の明示的方程式を導出すること。

提案手法

• 離散時刻t∈{0,1/N,2/N,…}において、個々の状態（タイプおよび内部状態）を持つN人のプレイヤーの系をモデル化し、制御されたマルコフ連鎖によって相互作用を記述する。
• プレイヤー状態の経験的測度としての集団プロファイルM^N(t)を定義し、やや弱い仮定のもとで、M^N(t)が非線形ODEを満たす決定論的測度m(t)に弱収束することを示す。
• 固定戦略uのもとでの平均場の進化を記述するODE系f(u,m)を用い、N人プレイヤーのゲームを平均場に対する単一プレイヤー意思決定問題に簡略化する。
• 非原子的マルコフ決定ゲーム理論および無知均衡の理論を用い、極限における定常均衡の存在を導出する。
• 有限Nの報酬R^Nが極限報酬Rに一様収束することを用い、カクタニの不動点定理を応用して、漸近的状態における均衡の存在を証明する。
• 劣化収束および時間スケーリングの議論（λ^N(t)→t）を用い、極限における割引報酬積分の収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 大規模人口マルコフ決定型進化的ゲームの挙動は、N→∞のときどのように収束するか？
• RQ2 平均場状態において、1人のプレイヤーと残りの集団との相互作用を記述する極限系は何か？
• RQ3 有限Nのゲームが決定論的平均場ODE系に収束するための条件は何か？
• RQ4 平均場近似を用いて、有限だが大きなNにおける均衡および近最適戦略をどのように構築できるか？
• RQ5 極限において、微視的ゲームとマクロ的平均場確率ゲームとの関係は何か？

主な発見

• タイプごとに区別不能であり、やや弱い仮定のもとで、1人のプレイヤーと残りの集団の連合プロセスは、非線形ODEによって駆動されるジャンプ過程に弱収束する。
• 平均場極限は、1人のプレイヤーがODEに従って進化する集団プロファイルと対戦するマクロ的マルコフ決定型進化的ゲームと同等である。
• 有限Nのゲームにおける割引報酬は、N→∞のとき、R(u,u)に一様収束するため、漸近的均衡解析が可能になる。
• 任意のβ>0に対して、有限Nのゲームには少なくとも1つの0最適定常戦略が存在し、報酬が対称的である限り、対称均衡の存在が保証される。
• ϵ_N→0を満たすϵ_N均衡の任意の極限点は、平均場極限において0均衡であるため、近似均衡の収束が保証される。
• 本フレームワークは、エネルギー状態を有する動的進化的ハクドリ・ダウ・ゲームを効果的にモデル化でき、平均場ダイナミクスの明示的ODEを導出できた。