[论文解读] APAC-Net: Alternating the Population and Agent Control via Two Neural Networks to Solve High-Dimensional Stochastic Mean Field Games

A. T. Lin, Samy Wu Fung+3 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 19被引用 26

一句话总结

APAC-Net 提出了一种新颖的神经网络框架，通过将问题转化为凸-凹鞍点问题，利用原始-对偶变分结构，在高维随机平均场博弈（MFGs）中交替优化群体与个体控制。通过使用两个独立的神经网络参数化价值函数与密度函数，该方法将 MFG 解决方案重新表述为类似 GAN 的训练过程，成功求解了高达 100 维的 MFG 问题——此前此类问题在现有方法下难以处理。

ABSTRACT

We present APAC-Net, an alternating population and agent control neural network for solving stochastic mean field games (MFGs). Our algorithm is geared toward high-dimensional instances of MFGs that are beyond reach with existing solution methods. We achieve this in two steps. First, we take advantage of the underlying variational primal-dual structure that MFGs exhibit and phrase it as a convex-concave saddle point problem. Second, we parameterize the value and density functions by two neural networks, respectively. By phrasing the problem in this manner, solving the MFG can be interpreted as a special case of training a generative adversarial network (GAN). We show the potential of our method on up to 100-dimensional MFG problems.

研究动机与目标

• 为解决传统方法难以计算处理的高维随机平均场博弈（MFGs）挑战。
• 利用 MFG 中固有的变分原始-对偶结构，将问题重新表述为凸-凹鞍点优化问题。
• 开发一种可扩展的深度学习框架，通过两个独立的神经网络参数化价值函数与群体密度。
• 通过与生成对抗网络（GANs）的类比，实现系统的端到端训练，促进高维空间中的稳定优化。
• 在高达 100 维的 MFG 问题上展示该方法的有效性，突破现有解决方案能力的边界。

提出的方法

• 通过利用其内在的变分原始-对偶结构，将随机 MFG 问题表述为凸-凹鞍点问题。
• 使用两个独立的神经网络参数化价值函数与群体密度，实现在高维空间中的可扩展表示。
• 训练过程在优化个体控制（价值网络）与群体控制（密度网络）之间交替进行，模仿 GAN 中的交替训练。
• 该算法将 MFG 的解视为一个极小化-极大化优化问题，其中价值网络最小化而密度网络最大化一个共享目标函数。
• 通过利用重新表述后问题的凸-凹性质，确保收敛性，实现在高维空间中的稳定训练。
• 通过深度学习反向传播实现端到端实现，支持对两个神经网络的梯度优化。

实验结果

研究问题

• RQ1 深度学习框架是否能有效求解经典数值方法无法处理的高维随机平均场博弈？
• RQ2 如何利用 MFG 的原始-对偶变分结构设计一种稳定且可扩展的优化算法？
• RQ3 MFG 的求解过程在多大程度上可被解释为类似生成对抗网络（GAN）的训练过程？
• RQ4 基于神经网络的交替优化方案可求解的 MFG 问题的最大维度是多少？
• RQ5 在高维设置下，群体与个体控制网络之间的交替优化如何提升收敛性与解的质量？

主要发现

• APAC-Net 有效求解了高达 100 维的随机平均场博弈，展示了超越以往方法极限的可扩展性。
• 将 MFG 重新表述为凸-凹鞍点问题，使得利用神经网络参数化实现稳定高效的优化成为可能。
• 通过在价值函数与群体密度之间交替优化，实现有效学习，模拟 GAN 的训练动态。
• 使用两个独立的神经网络分别处理价值函数与密度函数，使高维状态空间中的表示更具表现力与准确性。
• 该框架在传统求解器因维度灾难而失效的复杂高维随机动力学系统中展现出潜力。
• 该方法通过统一变分原理与深度学习，为求解 MFG 提供了新范式，为大规模随机控制的未来研究开辟了道路。