[论文解读] Connecting GANs, MFGs, and OT

Haoyang Cao, Xin Guo+1 more|arXiv (Cornell University)|Feb 10, 2020

Multimodal Machine Learning Applications参考文献 58被引用 16

一句话总结

本文建立了生成对抗网络（GANs）、平均场博弈（MFGs）与最优传输（OT）之间的理论联系，将 GANs 框架化为在帕累托最优条件下的 MFGs，以及最小化从潜在分布到数据分布传输成本的 OT 问题。提出 MFGAN，一种基于 GAN 的算法，通过对抗性训练两个神经网络求解耦合的 HJB 与 Fokker-Planck 方程，在高维 MFG 问题中以更少迭代次数实现优越性能。

ABSTRACT

Generative adversarial networks (GANs) have enjoyed tremendous success in image generation and processing, and have recently attracted growing interests in financial modelings. This paper analyzes GANs from the perspectives of mean-field games (MFGs) and optimal transport. More specifically, from the game theoretical perspective, GANs are interpreted as MFGs under Pareto Optimality criterion or mean-field controls; from the optimal transport perspective, GANs are to minimize the optimal transport cost indexed by the generator from the known latent distribution to the unknown true distribution of data. The MFGs perspective of GANs leads to a GAN-based computational method (MFGANs) to solve MFGs: one neural network for the backward Hamilton-Jacobi-Bellman equation and one neural network for the forward Fokker-Planck equation, with the two neural networks trained in an adversarial way. Numerical experiments demonstrate superior performance of this proposed algorithm, especially in the higher dimensional case, when compared with existing neural network approaches.

研究动机与目标

• 通过揭示其概念与数学联系，统一 GANs、MFGs 与最优传输的理论框架。
• 开发一种新颖的计算方法 MFGAN，利用 GAN 的对抗性训练范式求解平均场博弈。
• 展示 MFGAN 在传统方法难以处理的高维 MFG 问题中的有效性。
• 证明 GANs 可被解释为最小化从潜在分布到数据分布传输成本的最优传输问题。
• 通过捕捉周期性等复杂结构，在无显式解的情况下对方法进行数值验证。

提出的方法

• MFGAN 将 MFGs 的求解表述为双网络对抗性训练设置：一个网络通过反向汉密尔顿-雅可比-贝尔曼（HJB）方程学习值函数，另一个网络通过前向 Fokker-Planck（FP）方程学习密度流。
• 该方法使用深度伽辽金方法（DGM）架构，利用具有 ReLU 或 tanh 激活函数的深度神经网络对值函数 $u_\theta$ 和密度 $m_\omega$ 进行参数化。
• 生成器损失 $\hat{L}_{\text{Val}}$ 衡量 HJB 方程的残差，判别器损失 $\hat{L}_{\text{MF}}$ 衡量 Fokker-Planck 方程的残差。
• 通过惩罚项 $\hat{L}_{\text{MF,norm}}$ 实现归一化，以确保 $m_\omega$ 保持为有效的概率密度。
• 通过额外的惩罚项 $\hat{L}_{\text{Val,per}}$ 和 $\hat{L}_{\text{MF,per}}$ 强制解的周期性，以惩罚对称边界点之间的偏差。
• 该算法在每次迭代中使用随机梯度下降，$N_\theta = N_\omega = 10$ 步，自适应学习率，并采用小批量采样以实现高效训练。

实验结果

研究问题

• RQ1 在帕累托最优条件下，GANs 如何通过平均场博弈的视角进行解释？
• RQ2 在从潜在分布到数据分布的传输成本最小化方面，GANs 与最优传输之间有何联系？
• RQ3 GAN 的对抗性训练框架能否被适配以求解 MFG 中耦合的 HJB 与 Fokker-Planck 方程？
• RQ4 与现有神经网络方法相比，所提出的 MFGAN 方法在高维 MFG 问题中的表现如何？
• RQ5 MFGAN 是否能在无需对输入进行预处理的情况下捕捉复杂解结构（如周期性）？

主要发现

• 在 4 维 MFG 问题中，MFGAN 在 $8 \times 10^4$ 次迭代内实现了值函数的相对 $l_2$ 误差低于 $2 \times 10^{-2}$，密度函数误差低于 $4 \times 10^{-3}$，优于先前方法（后者需 $10^6$ 次迭代）。
• 在无显式解的 8 维遍历性 MFG 中，MFGAN 成功求解了耦合的 HJB-FP 系统，并通过惩罚项准确捕捉了解的周期性结构。
• 在 8D 实验中，经过 $10^5$ 次迭代后，生成器损失 $\hat{L}_{\text{Val}}$ 降至 $10^{-3}$ 以下，判别器损失 $\hat{L}_{\text{MF}}$ 达到 $10^{-2}$。
• 该方法在高维设置中表现出稳定性与收敛性，4D 情况下训练结果在约 $8 \times 10^4$ 次迭代后趋于稳定。
• 通过使用周期性惩罚项，模型在无需输入变换或网络架构修改的情况下成功捕捉了对称解特征。
• 所提出的 MFGAN 框架减少了所需迭代次数与训练样本数，在计算上优于现有基于深度学习的 MFG 求解器。