[论文解读] Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations.

Jiachen Yang, Xiaojing Ye+3 more|arXiv (Cornell University)|Nov 8, 2017

Opinion Dynamics and Social Influence参考文献 17被引用 22

一句话总结

本文提出了一种深度平均场博弈（MFG）框架，将平均场博弈理论与马尔可夫决策过程（MDPs）相结合，以在大规模群体中建模并学习最优行为策略。通过将一类特殊MFG简化为MDP，该方法能够从真实世界数据中端到端地学习奖励函数和前向动态，首次在真实社交媒体群体上实现了对MFG模型的实证验证。

ABSTRACT

We consider the problem of representing a large population's behavior policy that drives the evolution of the population distribution over a discrete state space. A discrete time mean field game (MFG) is motivated as an interpretable model founded on game theory for understanding the aggregate effect of individual actions and predicting the temporal evolution of population distributions. We achieve a synthesis of MFG and Markov decision processes (MDP) by showing that a special MFG is reducible to an MDP. This enables us to broaden the scope of mean field game theory and infer MFG models of large real-world systems via deep inverse reinforcement learning. Our method learns both the reward function and forward dynamics of an MFG from real data, and we report the first empirical test of a mean field game model of a real-world social media population.

研究动机与目标

• 使用可解释的平均场博弈（MFG）理论对大规模群体的行为策略进行建模。
• 通过证明一类特殊MFG可约简为MDP，实现平均场博弈理论与马尔可夫决策过程（MDPs）的桥梁构建。
• 通过深度逆强化学习，实现在真实系统中对MFG模型的推理。
• 从真实数据中学习奖励函数和前向动态，特别是在社交媒体场景中。
• 首次在真实世界群体上对MFG模型进行实证验证。

提出的方法

• 构建一个离散时间的平均场博弈（MFG）模型，以在离散状态空间中表示群体层面的行为。
• 证明特定类别的MFG在数学上可约简为马尔可夫决策过程（MDP），从而能够应用基于MDP的学习技术。
• 应用深度逆强化学习，联合推断观测到的群体数据中的奖励函数和前向动态。
• 使用神经网络参数化策略、价值函数和动态，实现在高维设置下的可扩展学习。
• 使用真实世界数据端到端训练模型，以捕捉群体分布的时间演化。
• 通过模拟群体动态并与观测数据对比，验证所学习的MFG模型。

实验结果

研究问题

• RQ1 能否使用深度逆强化学习，从真实世界群体数据中有效学习平均场博弈模型？
• RQ2 平均场博弈在多大程度上可约简为马尔可夫决策过程，以实现可扩展学习？
• RQ3 所提出方法在多大程度上能准确推断大规模群体的奖励函数和前向动态？
• RQ4 所学习的MFG模型能否预测真实系统中群体分布的时间演化？
• RQ5 MFG模型在真实社交媒体群体上的实证性能如何？

主要发现

• 所提出方法成功地从真实数据中学习了平均场博弈的奖励函数和前向动态，实现了对群体行为的精确建模。
• 将一类特殊MFG简化为MDP，使得标准MDP学习技术可应用于复杂的大规模群体决策问题。
• 该模型首次在真实世界社交媒体群体数据上实现了对平均场博弈模型的实证验证。
• 所学习的MFG模型能准确预测真实社交媒体平台中观测到的群体分布的时间演化。
• 深度逆强化学习实现了对策略、奖励和动态的联合推断，显著提升了大规模群体建模中的可解释性和泛化能力。
• 该框架在使用博弈论和强化学习原理建模复杂、大规模社会系统方面，展示了可行性与有效性。