[論文レビュー] Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations.

Jiachen Yang, Xiaojing Ye+3 more|arXiv (Cornell University)|Nov 8, 2017

Opinion Dynamics and Social Influence参考文献 17被引用数 22

ひとこと要約

本稿では、大規模な集団における最適行動方策のモデル化と学習を目的として、平均場ゲーム理論（MFG）とマルコフ決定過程（MDP）を統合したディープ平均場ゲーム（MFG）フレームワークを提案する。特定のクラスのMFGをMDPに還元することで、実世界のデータから報酬関数と前方ダイナミクスをエンド・ツー・エンドで学習可能となり、社会的メディア集団におけるMFGモデルの初の実証的検証を達成した。

ABSTRACT

We consider the problem of representing a large population's behavior policy that drives the evolution of the population distribution over a discrete state space. A discrete time mean field game (MFG) is motivated as an interpretable model founded on game theory for understanding the aggregate effect of individual actions and predicting the temporal evolution of population distributions. We achieve a synthesis of MFG and Markov decision processes (MDP) by showing that a special MFG is reducible to an MDP. This enables us to broaden the scope of mean field game theory and infer MFG models of large real-world systems via deep inverse reinforcement learning. Our method learns both the reward function and forward dynamics of an MFG from real data, and we report the first empirical test of a mean field game model of a real-world social media population.

研究の動機と目的

• 解釈可能な平均場ゲーム（MFG）理論を用いて、大規模集団の行動方策をモデル化すること。
• 特定のMFGクラスがMDPに還元可能であることを示すことにより、MFG理論とマルコフ決定過程（MDP）を橋渡しすること。
• 深層逆強化学習を用いて、実世界のシステムにおけるMFGモデルの推論を可能にすること。
• 特にSNS文脈において、実データから報酬関数と前方ダイナミクスの両方を学習すること。
• 実社会の集団において、MFGモデルの初の実証的検証を達成すること。

提案手法

• 離散時間の平均場ゲーム（MFG）モデルを定式化し、離散状態空間における集団レベルの行動を表現する。
• 特定のMFGクラスが数学的にマルコフ決定過程（MDP）に還元可能であることを示し、MDPベースの学習手法の適用を可能にする。
• 深層逆強化学習を用いて、観測された集団データから報酬関数と前方ダイナミクスを同時に推定する。
• ニューラルネットワークを用いて方策、価値関数、ダイナミクスをパラメータ化し、高次元設定におけるスケーラブルな学習を実現する。
• 時系列的な集団分布の変化を捉えるために、実世界のデータを用いてモデルをエンド・ツー・エンドで訓練する。
• シミュレーションによる集団ダイナミクスの再現と観測データとの比較を通じて、学習済みMFGモデルの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層逆強化学習を用いて、実世界の集団データから平均場ゲームモデルを効果的に学習できるか？
• RQ2 平均場ゲームがどの程度MDPに還元可能であり、スケーラブルな学習を可能にするか？
• RQ3 提案手法は、大規模集団の報酬関数と前方ダイナミクスをどの程度正確に推定できるか？
• RQ4 学習済みMFGモデルは、実世界のシステムにおける集団分布の時系列的変化を予測できるか？
• RQ5 MFGモデルは実SNS集団において、どの程度の実証的パフォーマンスを示すか？

主な発見

• 提案手法は、実データからMFGの報酬関数と前方ダイナミクスを効果的に学習でき、集団行動の正確なモデル化を可能にした。
• 特定のMFGクラスをMDPに還元できることにより、複雑な集団レベル意思決定に標準的なMDP学習手法を適用可能にした。
• 本研究は、実社会のSNS集団データに対するMFGモデルの初の実証的検証を達成した。
• 学習済みMFGモデルは、実SNSプラットフォームで観測された集団分布の時系列的変化を正確に予測した。
• 深層逆強化学習により、方策、報酬、ダイナミクスの同時推定が可能となり、大規模集団モデル化における解釈可能性と一般化性能が著しく向上した。
• ゲーム理論的および強化学習的原則を用いて、複雑で大規模な社会的システムをモデル化する可能性と有効性が、本フレームワークによって示された。