[论文解读] Deep Learning for Mean Field Optimal Transport

Sebastian Baudelet, Brieuc Frénais+3 more|arXiv (Cornell University)|Feb 28, 2023

Climate Change Policy and EconomicsEconomics, Econometrics and Finance被引用 3

一句话总结

本文提出三种基于深度学习的数值方法，用于求解均场最优传输（MFOT）问题，其中代理在合作最小化社会成本的同时达到预定的终端分布。这些方法利用神经网络学习最优控制、求解前向-后向PDE系统，或采用增强拉格朗日原始-对偶框架，在线性二次型和拥堵建模测试案例中展示了高精度解。

ABSTRACT

Mean field control (MFC) problems have been introduced to study social optima in very large populations of strategic agents. The main idea is to consider an infinite population and to simplify the analysis by using a mean field approximation. These problems can also be viewed as optimal control problems for McKean-Vlasov dynamics. They have found applications in a wide range of fields, from economics and finance to social sciences and engineering. Usually, the goal for the agents is to minimize a total cost which consists in the integral of a running cost plus a terminal cost. In this work, we consider MFC problems in which there is no terminal cost but, instead, the terminal distribution is prescribed. We call such problems mean field optimal transport problems since they can be viewed as a generalization of classical optimal transport problems when mean field interactions occur in the dynamics or the running cost function. We propose three numerical methods based on neural networks. The first one is based on directly learning an optimal control. The second one amounts to solve a forward-backward PDE system characterizing the solution. The third one relies on a primal-dual approach. We illustrate these methods with numerical experiments conducted on two families of examples.

研究动机与目标

• 解决终端分布被固定而非最小化终端成本的均场最优传输问题。
• 开发基于深度学习的数值方法，以求解超越Schrödinger桥及标准MFG/MFC设置的MFOT问题。
• 通过支持复杂均场相互作用和非平凡动力学的问题求解，克服现有方法的局限性。
• 提供可扩展、可微分的方法，利用神经网络在高维设置中近似最优控制和密度。
• 通过基于损失的训练、惩罚项、PDE约束和增强拉格朗日公式，确保收敛性和准确性。

提出的方法

• 方法1采用类似深度强化学习的策略：通过蒙特卡洛模拟麦科恩-弗拉索夫SDE，利用神经网络学习最优控制策略，并施加终端分布偏差的惩罚项。
• 方法2直接使用深度神经网络近似MFOT问题最优性条件导出的前向-后向PDE系统解。
• 方法3采用增强拉格朗日公式，通过原始-对偶优化方案强制执行终端分布约束，其中价值函数、密度和拉格朗日乘子分别使用独立网络。
• 所有方法均采用带残差连接的全连接前馈神经网络，激活函数为ReLU或Sigmoid，通过小批量采样进行随机梯度下降训练。
• 超参数如惩罚权重 $ C_W $、$ C_0^{(KFP)} $、$ C_T^{(KFP)} $、$ C^{(KFP)} $、$ C^{(HJB)} $ 以及增强拉格朗日中的 $ r $，通过经验调优以确保稳定性和收敛性。
• 对于LQ问题，在控制网络输出中增加额外的二次校正项，以提升精度并匹配解析解。

Figure 1 : Evolution of the density in the LQ Test case 1. Each plot corresponds to one time step and displays the densities as functions of the space variable, $\textstyle x$ . The densities are: The density obtained by applying the control learnt by each of the three deep learning methods as well

实验结果

研究问题

• RQ1 深度学习能否有效求解具有预定终端分布且无终端成本的均场最优传输问题？
• RQ2 不同神经网络架构和损失公式在MFOT问题的收敛性和准确性方面表现如何比较？
• RQ3 所提方法能否处理非线性动力学和复杂的均场相互作用（如拥堵效应）？
• RQ4 惩罚权重和增强拉格朗日参数 $ r $ 等超参数对训练稳定性和性能有何影响？
• RQ5 基于深度学习的方法在多大程度上可推广至Schrödinger桥和线性二次型案例之外？

主要发现

• 三种所提方法在LQ测试案例中均能高精度匹配解析解，表现出良好的收敛性和鲁棒性。
• 方法1通过最小化带惩罚项的代价泛函成功学习最优控制策略，其中惩罚项 $ C_W $ 根据状态维度和计算成本进行调整。
• 方法2通过深度神经网络有效求解前向-后向PDE系统，损失项用于强制执行初始条件、终端条件和PDE约束。
• 采用增强拉格朗日方法的方法3在 $ r = 0.1 $ 时表现出稳定收敛，且在拉格朗日乘子网络中使用Sigmoid激活函数确保了密度估计的有界性。
• 所有方法均成功处理了非平凡的均场相互作用，包括拥堵效应，如拥堵测试案例所示。
• 数值实验确认，这些方法在高维设置中具有可扩展性和有效性，训练通过仔细的超参数调优和小批量采样得到稳定。

Figure 2 : Evolution of the control in the LQ Test case 1. Each plot corresponds to one time step and displays the controls as functions of the space variable, $\textstyle x$ . The controls are: The control learnt by each of the three deep learning methods as well as the ground-truth control given b