[论文解读] Learning Deep Mean Field Games for Modeling Large Population Behavior

Jiachen Yang, Xiaojing Ye+3 more|arXiv (Cornell University)|Nov 8, 2017

Opinion Dynamics and Social Influence参考文献 22被引用 9

一句话总结

该论文提出了一种数据驱动方法，通过将离散时间的平均场博弈（MFG）模型简化为马尔可夫决策过程（MDP），从而学习大规模人群行为的MFG模型，使深度逆强化学习能够从现实世界的人群数据中推断出奖励函数和前向动力学。与VAR和RNN基线模型相比，该方法在真实社交媒体数据上的轨迹预测精度显著提升，首次实现了对真实社会系统中MFG的实证验证。

ABSTRACT

We consider the problem of representing collective behavior of large populations and predicting the evolution of a population distribution over a discrete state space. A discrete time mean field game (MFG) is motivated as an interpretable model founded on game theory for understanding the aggregate effect of individual actions and predicting the temporal evolution of population distributions. We achieve a synthesis of MFG and Markov decision processes (MDP) by showing that a special MFG is reducible to an MDP. This enables us to broaden the scope of mean field game theory and infer MFG models of large real-world systems via deep inverse reinforcement learning. Our method learns both the reward function and forward dynamics of an MFG from real data, and we report the first empirical test of a mean field game model of a real-world social media population.

研究动机与目标

• 建模并预测真实系统（如社交媒体）中大规模人群分布的时序演化。
• 解决平均场博弈（MFG）模型在实证验证中缺乏可扩展、数据驱动方法的问题。
• 通过证明MFG的特例可约简为MDP，弥合MFG理论与强化学习之间的鸿沟。
• 利用深度逆强化学习，从真实数据中联合学习MFG的奖励函数与前向动力学。
• 在真实世界社交媒体数据集上实证验证MFG框架，展示其预测能力与可解释性。

提出的方法

• 构建一个离散时间图状态MFG模型，以捕捉在有限状态空间上的群体分布动力学。
• 证明MFG的一个特例可被约简为马尔可夫决策过程（MDP），从而支持通过强化学习进行策略优化。
• 使用深度逆强化学习，从观测到的人群轨迹中联合推断奖励函数与前向转移动力学。
• 采用基于领域知识的结构化方式参数化策略，未来可扩展至深度神经网络。
• 仅使用每日的初始人群分布进行训练，通过JSD损失最小化未来分布的预测误差。
• 通过生成完整的人群轨迹并对比真实数据，验证所学习的MFG模型。

实验结果

研究问题

• RQ1 能否通过逆强化学习从真实世界的人群数据中有效学习平均场博弈模型？
• RQ2 与传统时间序列模型（如VAR）和序列模型（如RNN）相比，MFG框架在预测人群分布演化方面表现如何？
• RQ3 所学习的奖励函数在多大程度上可被解释为捕捉了集体行为背后的优化原则？
• RQ4 在训练数据有限的情况下，MFG模型能否泛化到未见过的人群轨迹？
• RQ5 策略参数化方式对所学习动力学与转移矩阵的准确性有何影响？

主要发现

• 尽管仅使用初始分布进行训练，MFG模型在最终分布JSD上的测试误差比VAR低58%，在时间序列上的平均JSD误差也低40%。
• MFG模型在轨迹预测上优于RNN，即使RNN可访问完整的每小时分布数据，表明MFG具有更优的归纳偏差以捕捉人群动力学。
• 所学习的奖励函数揭示了可解释的模式：个体被激励向更受欢迎的主题移动，反映出对流行度追求与状态转移动力学之间的平衡。
• MFG策略生成的动作矩阵与真实世界演示数据高度吻合，尤其在捕捉人群向更高流行度主题聚集的趋势方面表现优异。
• 即使采用简单且基于领域知识的策略参数化方式，MFG模型仍实现了卓越的预测性能，表明其在采用深度神经网络后具有巨大提升潜力。
• 该方法首次在真实世界社交媒体人群数据上实现了对平均场博弈模型的实证验证，为未来在社会动力学与相互依赖系统中的应用奠定了基础。