[論文レビュー] Learning Deep Mean Field Games for Modeling Large Population Behavior

Jiachen Yang, Xiaojing Ye+3 more|arXiv (Cornell University)|Nov 8, 2017

Opinion Dynamics and Social Influence参考文献 22被引用数 9

ひとこと要約

本論文は、離散時間のMFGをMDPに還元することで、大規模集団行動のためのデータ駆動型手法を提案する。これにより、深層逆強化学習を用いて、実世界の集団データから報酬関数と前向きダイナミクスを同時に推定可能となる。VARやRNNのベースラインと比較して、実際のSNSデータ上での軌道予測精度が優れており、MFGが実世界の社会的システムで初めて実証的に検証されたことを示している。

ABSTRACT

We consider the problem of representing collective behavior of large populations and predicting the evolution of a population distribution over a discrete state space. A discrete time mean field game (MFG) is motivated as an interpretable model founded on game theory for understanding the aggregate effect of individual actions and predicting the temporal evolution of population distributions. We achieve a synthesis of MFG and Markov decision processes (MDP) by showing that a special MFG is reducible to an MDP. This enables us to broaden the scope of mean field game theory and infer MFG models of large real-world systems via deep inverse reinforcement learning. Our method learns both the reward function and forward dynamics of an MFG from real data, and we report the first empirical test of a mean field game model of a real-world social media population.

研究の動機と目的

• SNSのような実世界のシステムにおける大規模集団分布の時間的変化をモデル化・予測すること。
• 平均場ゲーム（MFG）モデルの実証的検証に向けたスケーラブルでデータ駆動型の手法の欠如に取り組むこと。
• 特別なMFGのケースがMDPに還元可能であることを示し、MFG理論と強化学習を橋渡しすること。
• 深層逆強化学習を用いて、実データから報酬関数と前向きダイナミクスの両方を学習すること。
• 実世界のSNSデータセット上でMFGフレームワークを実証的に検証し、その予測力と解釈可能性を示すこと。

提案手法

• 有限状態空間上での集団分布ダイナミクスを捉える離散時間グラフ状態MFGモデルを定式化すること。
• MFGの特別なケースがマルコフ決定過程（MDP）に還元可能であることを証明し、強化学習による方策最適化を可能にすること。
• 深層逆強化学習を用いて、観測された集団軌道から報酬関数と前向き遷移ダイナミクスを同時に推定すること。
• ドメイン知識に基づいた構造を方策のパrameterizationに用い、将来的に深層ニューラルネットワークへの拡張を想定すること。
• 1日ごとの初期集団分布のみを用いてモデルを学習し、将来の分布における予測誤差をJSD損失で最小化すること。
• 学習されたMFGモデルの妥当性を、完全な集団軌道を生成して真値データと比較することで検証すること。

実験結果

リサーチクエスチョン

• RQ1 逆強化学習を用いて、実世界の集団データから平均場ゲームモデルを効果的に学習可能か？
• RQ2 MFGフレームワークは、従来の時系列モデル（例：VAR）や系列モデル（例：RNN）と比較して、集団分布の進化予測においてどのように性能を発揮するか？
• RQ3 学習された報酬関数は、集団行動の背後にある最適化原理をどの程度解釈可能に捉えられるか？
• RQ4 限られた学習データで、MFGモデルは未観測の集団軌道に一般化可能か？
• RQ5 方策パラメータ化の方法が、学習されたダイナミクスと遷移行列の精度に与える影響はいかほどか？

主な発見

• MFGモデルは、学習に初期分布のみを用いても、VARと比較して最終分布のJSDで58％低いテスト誤差、時間経過にわたる平均JSDで40％低い誤差を達成した。
• RNNでさえも全時間的分布を入力として持つにもかかわらず、MFGモデルは軌道予測でRNNを上回った。これは、集団ダイナミクスに適したより優れた誘導バイアスを有していることを示している。
• 学習された報酬関数は解釈可能なパターンを示した：エージェントはより人気のあるトピックへ移動するようインcentivizedされており、人気獲得と状態遷移ダイナミクスのバランスを反映している。
• MFG方策が生成した行動行列は、特に高人気トピックへの集団の集積傾向を捉える点で、実世界のデータとよく一致していた。
• 単純なドメイン知識に基づく方策パラメータ化でも、MFGモデルは優れた予測性能を達成しており、深層ニューラルネットワークへの拡張によるさらなる向上の可能性が示唆された。
• 本手法は、実世界のSNS集団データ上での平均場ゲームモデルの初めての実証的検証を達成し、将来的な社会的ダイナミクスや相互依存システムへの応用の基盤を築いた。