[論文レビュー] Dynamic Population Games: A Tractable Intersection of Mean-Field Games and Population Games

Ezzat Elokda, Saverio Bolognani+3 more|arXiv (Cornell University)|Apr 29, 2021

Game Theory and Applications参考文献 32被引用数 4

ひとこと要約

本稿は、平均場ゲームと集団ゲームを統合する新規フレームワークとして、固定タイプに加え時間変動する状態を有するエージェントを備えた動的集団ゲームを導入する。このフレームワークでは、動的ゲームにおける定常的均衡が、古典的集団ゲームにおける標準的ナッシュ均衡に還元されることを確立しており、自律移動や流行病モデリングなどの分野における取り扱いやすい分析と実用的応用を可能にする。

ABSTRACT

In many real-world large-scale decision problems, self-interested agents have individual dynamics and optimize their own long-term payoffs. Important examples include the competitive access to shared resources (e.g., roads, energy, or bandwidth) but also non-engineering domains like epidemic propagation and control. These problems are natural to model as mean-field games. Existing mathematical formulations of mean field games have had limited applicability in practice, since they require solving non-standard initial-terminal-value problems that are tractable only in limited special cases. In this letter, we propose a novel formulation, along with computational tools, for a practically relevant class of Dynamic Population Games (DPGs), which correspond to discrete-time, finite-state-and-action, stationary mean-field games. Our main contribution is a mathematical reduction of Stationary Nash Equilibria (SNE) in DPGs to standard Nash Equilibria (NE) in static population games. This reduction is leveraged to guarantee the existence of a SNE, develop an evolutionary dynamics-based SNE computation algorithm, and derive simple conditions that guarantee stability and uniqueness of the SNE. We provide two examples of applications: fair resource allocation with heterogeneous agents and control of epidemic propagation. Open source software for SNE computation: https://gitlab.ethz.ch/elokdae/dynamic-population-games

研究の動機と目的

• エージェントが固定タイプと時間変動する状態を併せ持つ大規模集団における戦略的相互作用をモデル化すること。
• 大規模集団における確率的ゲームの限界を補うために、匿名性とマクロスコピックな状態分布を組み込むこと。
• すべてのエージェントが最適応答をとるとともに状態分布が不変であることを保証する解概念（定常的均衡）を確立すること。
• 動的集団ゲームを古典的集団ゲームに還元することにより、均衡分析の簡略化を図ること。
• 交通動態や流行病の拡散といった現実世界のシステムにおける戦略的行動適応を可能にする実用的モデリングを実現すること。

提案手法

• エージェントを離散的なタイプ（固定特性）と離散的な時間変動する状態（例：空腹、疲労）でモデル化し、行動と社会的状態分布に応じてその状態が変化することを定義する。
• 現在の社会的状態（行動と状態の分布）に依存するマルコフ的遷移確率を用いて、個々の状態遷移を定義する。
• 同期的および非同期的相互作用モデルを用いて社会的レベルの状態ダイナミクスを導出する。後者はポアソン過程と無限小時間ステップを用いて導出される。
• 状態-行動ペアと社会的状態に基づく報酬を定式化し、長期割引報酬下での効用最大化を可能にする。
• 無限時間ホライズン最適化を1ステップ最適応答問題に簡略化するため、単一ステップ逸脱原理を導入する。
• 動的集団ゲームにおける定常的均衡が、適切に定義された古典的集団ゲームにおける標準的ナッシュ均衡に正確に一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 エージェントが意思決定に影響されると同時にそれらに影響を受ける時間変動する内部状態を有する大規模集団における戦略的相互作用は、どのようにモデル化できるか？
• RQ2 動的で大規模な集団ゲームの複雑さは、古典的で静的集団ゲームフレームワークに還元可能か？
• RQ3 時間変動するエージェント状態を有する動的集団ゲームにおいて、安定性と最適性を保証する解概念は何か？
• RQ4 非同期的相互作用モデルは、大規模集団における状態分布の進化にどのように影響するか？
• RQ5 このような動的設定において、定常的均衡の存在を保証する条件は何か？

主な発見

• すべての動的集団ゲームにおいて、少なくとも1つの定常的均衡が存在し、安定な戦略的構成が保証される。
• 動的集団ゲームにおける定常的均衡は、適切に定義された古典的集団ゲームにおける標準的ナッシュ均衡と数学的に同等である。
• 単一ステップ逸脱原理により、無限時間ホライズン最適化を1ステップ最適応答問題に簡略化でき、均衡計算が取り扱いやすくなる。
• 社会的状態ダイナミクスは微分方程式系として導出され、非同期モデルはポアソン相互作用プロセスと無限小時間解析を用いて導出される。
• 状態分布は線形常微分方程式に従う：$\dot{d}_{\tau}[x] = \delta_{\tau} \left( \sum_{x' \in \mathcal{X}} d_{\tau}[x'] P_{\tau}[x \mid x'] - d_{\tau}[x] \right)$、流入と流出を捉える。
• このフレームワークにより、分散型交通管理や戦略的行動を伴う適応的流行病モデリングといった現実世界のシステムへの直接応用が可能になる。