[论文解读] A mean-field games laboratory for generative modeling

B. Zhang, Markos A. Katsoulakis|arXiv (Cornell University)|Apr 26, 2023

Sports Analytics and Performance被引用 4

一句话总结

本文提出一种平均场博弈（MFG）框架，作为生成建模的统一数学基础，证明了连续归一化流、基于得分的生成模型（SGMs）以及Wasserstein梯度流均可作为MFG最优性条件（耦合的前向-后向PDE）的解。核心贡献是从MFG最优性中推导出Hamilton-Jacobi-Bellman（HJB）正则化项，显著提升了训练稳定性和性能，经验证，采用HJB正则化的SGM在性能上优于标准SGM。

ABSTRACT

We demonstrate the versatility of mean-field games (MFGs) as a mathematical framework for explaining, enhancing, and designing generative models. In generative flows, a Lagrangian formulation is used where each particle (generated sample) aims to minimize a loss function over its simulated path. The loss, however, is dependent on the paths of other particles, which leads to a competition among the population of particles. The asymptotic behavior of this competition yields a mean-field game. We establish connections between MFGs and major classes of generative flows and diffusions including continuous-time normalizing flows, score-based generative models (SGM), and Wasserstein gradient flows. Furthermore, we study the mathematical properties of each generative model by studying their associated MFG's optimality condition, which is a set of coupled forward-backward nonlinear partial differential equations. The mathematical structure described by the MFG optimality conditions identifies the inductive biases of generative flows. We investigate the well-posedness and structure of normalizing flows, unravel the mathematical structure of SGMs, and derive a MFG formulation of Wasserstein gradient flows. From an algorithmic perspective, the optimality conditions yields Hamilton-Jacobi-Bellman (HJB) regularizers for enhanced training of generative models. In particular, we propose and demonstrate an HJB-regularized SGM with improved performance over standard SGMs. We present this framework as an MFG laboratory which serves as a platform for revealing new avenues of experimentation and invention of generative models.

研究动机与目标

• 将连续归一化流、基于得分的模型和Wasserstein梯度流等多样化的生成建模方法统一于单一数学框架之下。
• 通过分析其关联的平均场博弈（MFG）最优性条件，揭示生成模型的归纳偏置。
• 从MFG结构中推导出HJB正则化项，以增强生成模型的训练稳定性和性能。
• 通过调控MFG代价函数与动力学，建立系统化、模块化的实验平台，用于发明新型生成模型。

提出的方法

• 将生成流建模为平均场博弈，其中每个粒子基于群体的经验分布最小化损失，从而导出作为最优性条件的耦合前向-后向PDE。
• 为连续归一化流、SGMs和Wasserstein梯度流推导MFG最优性条件（一组前向-后向非线性PDE系统）。
• 从MFG最优性条件中构造Hamilton-Jacobi-Bellman（HJB）正则化项，以稳定生成模型的训练过程。
• 将HJB正则化项应用于基于得分的生成模型，在数值实验中验证其性能优于标准SGMs。
• 利用MFG框架通过修改代价函数与动力学系统性地生成新模型，包括Wasserstein梯度流的松弛形式。
• 利用物理信息神经网络（PINNs）求解MFG产生的前向-后向PDE系统，实现基于MFG的得分匹配。

Figure 1 : Flow chart describing how mean-field games are related to and provide new insights for flow-based generative modeling. Blue boxes denote the current understanding of flow-based generative models. Green boxes are the new perspective provided by mean-field games.

实验结果

研究问题

• RQ1 平均场博弈（MFGs）如何作为连续时间生成模型（如归一化流和基于得分的生成模型）的统一框架？
• RQ2 生成流的归纳偏置背后的数学结构是什么？其可通过MFG最优性条件如何揭示？
• RQ3 MFG的最优性条件能否用于推导出有效正则化项，以提升生成建模中的训练稳定性和性能？
• RQ4 以MFG形式表述的Wasserstein梯度流的松弛形式如何在测地线与梯度流之间实现插值？其在生成建模中具有何种潜力？
• RQ5 通过调控MFG代价函数与动力学，能否系统性地发明新型生成模型类别？

主要发现

• 本文确立了连续归一化流、基于得分的生成模型（SGMs）以及Wasserstein梯度流均作为平均场博弈（MFG）最优性条件的解，而这些最优性条件为耦合的前向-后向非线性PDE。
• MFG框架通过其关联最优性条件的结构，揭示了生成模型的归纳偏置，为理解其行为提供了更深层次的数学洞察。
• 从MFG最优性条件中推导出的Hamilton-Jacobi-Bellman（HJB）正则化项被证明可显著提升训练稳定性和性能，数值实验表明HJB正则化的SGM优于标准SGMs。
• 推导了Wasserstein梯度流的MFG表述，并表明其松弛形式可在Wasserstein测地线与梯度流之间实现插值，暗示了新的计算与理论路径。
• 该框架通过调节代价函数与动力学（如引入相互作用项，或使用非局部扩散与跳跃过程）实现了新型生成模型的系统性构造。
• 物理信息神经网络（PINNs）被成功应用于求解MFG的前向-后向PDE系统，实现了基于MFG的优化进行得分匹配。