[论文解读] Alternating the Population and Control Neural Networks to Solve High-Dimensional Stochastic Mean-Field Games

A. T. Lin, Samy Wu Fung+3 more|arXiv (Cornell University)|Feb 24, 2020

Stochastic processes and financial applications参考文献 62被引用 70

一句话总结

APAC-Net 是一种新颖的深度学习框架，通过将问题表述为凸-凹鞍点优化，解决了高维随机平均场博弈（MFGs）问题，利用神经网络参数化价值函数和密度函数。受生成对抗网络（GANs）的启发，它交替训练一个群体网络（类似判别器）和一个控制网络（类似生成器），实现了对高达100维的MFGs的可扩展求解——此前由于维度灾难，基于网格的方法难以处理。

ABSTRACT

We present APAC-Net, an alternating population and agent control neural network for solving stochastic mean field games (MFGs). Our algorithm is geared toward high-dimensional instances of MFGs that are beyond reach with existing solution methods. We achieve this in two steps. First, we take advantage of the underlying variational primal-dual structure that MFGs exhibit and phrase it as a convex-concave saddle point problem. Second, we parameterize the value and density functions by two neural networks, respectively. By phrasing the problem in this manner, solving the MFG can be interpreted as a special case of training a generative adversarial network (GAN). We show the potential of our method on up to 100-dimensional MFG problems.

研究动机与目标

• 解决传统基于网格的求解器在高维随机平均场博弈（MFGs）中因维度灾难导致的计算不可行性。
• 开发一种可扩展的、基于深度学习的方法，用于求解高维空间（最高达100维）中的随机MFGs，而现有数值方法在此类场景下失效。
• 利用潜在MFGs的变分对偶结构，将问题重述为凸-凹鞍点优化问题。
• 在MFGs与生成对抗网络（GANs）之间建立正式联系，从而可应用GAN风格的训练动态。
• 提供一种可微分、无需网格的框架，通过神经网络参数化价值函数和代理密度，避免空间离散化。

提出的方法

• 利用源自Benamou-Brenier框架的变分对偶公式，将随机MFG系统重新表述为凸-凹鞍点问题。
• 使用两个深度神经网络参数化价值函数 ϕ 和代理密度 ρ：控制网络（生成器）和群体网络（判别器）。
• 将MFG的求解视为一个与Wasserstein GAN类似的极小化-极大化优化问题，其中判别器用于评估代理策略与群体分布之间的一致性。
• 采用交替优化：训练控制网络以最小化HJB残差，同时训练群体网络以最大化与Fokker-Planck动力学的一致性。
• 通过梯度惩罚方法在群体网络（判别器）上施加1-Lipschitz约束，如同WGAN-GP中所做，以稳定训练并避免模式崩溃。
• 使用自适应优化器进行随机梯度下降，端到端训练网络，最小化HJB残差，并通过来自鞍点公式的损失函数强制满足Fokker-Planck方程。

实验结果

研究问题

• RQ1 基于GAN的深度学习框架是否能有效求解传统基于网格的方法难以处理的高维随机平均场博弈？
• RQ2 当使用神经网络参数化时，MFGs的变分对偶公式是否能实现稳定且可扩展的训练过程？
• RQ3 APAC-Net框架在不同维度（如2D、50D、100D）和不同随机性水平（ν > 0）下泛化能力如何？
• RQ4 该方法能否在高维空间中处理复杂相互作用，如拥堵效应和对称障碍物？
• RQ5 GAN启发的训练动态在多大程度上可防止模式崩溃，并确保MFGs中密度和策略估计的准确性？

主要发现

• APAC-Net 成功求解了高达100维的随机MFGs，展示了在传统基于网格的方法因维度灾难而失效时的可扩展性。
• 该方法实现了极低的HJB残差损失——2D时低于100，50D时低于500，100D时低于800，表明对耦合HJB-FP系统的高精度求解。
• 在存在瓶颈的拥堵问题中，网络学习到在障碍物周围分流代理密度，2D、50D和100D下的结果一致，验证了其泛化能力。
• 随着随机性增强（ν = 0.4），动力学受噪声主导，但网络仍保持稳定训练并实现有意义的策略学习，表现出强鲁棒性。
• 对于一个具有二次哈密顿量和对数交互项的解析解（公式A.11），APAC-Net 准确恢复了该解，证实了方法在已知基准测试中的正确性。
• 在群体网络（判别器）中使用梯度惩罚有效防止了模式崩溃，并通过各维度下一致的密度分流和低残差损失，显著稳定了训练过程。