[论文解读] An entropy minimization approach to second-order variational mean-field games

Jean‐David Benamou, Guillaume Carlier+2 more|arXiv (Cornell University)|Jul 24, 2018

Mathematical Biology Tumor Growth参考文献 45被引用 27

一句话总结

本文提出了一种针对具有扩散和二次哈密顿量的二阶变分均场博弈（MFG）的熵最小化框架，将欧拉型PDE系统重新表述为拉格朗日型熵最优传输问题。通过利用时间离散化形式和Γ-收敛性，建立了其与薛定谔桥问题的等价性，并借助Sinkhorn算法实现高效数值求解，从而在规划和避障MFG问题中实现了鲁棒且可扩展的计算。

ABSTRACT

We propose a new viewpoint on variational mean-field games with diffusion and quadratic Hamiltonian. We show the equivalence of such mean-field games with a relative entropy minimization at the level of probabilities on curves. We also address the time-discretization of such problems, establish $\\Gamma$-convergence results as the time step vanishes and propose an efficient algorithm relying on this entropic interpretation as well as on the Sinkhorn scaling algorithm.

研究动机与目标

• 建立在存在扩散和二次哈密顿量的条件下，变分均场博弈与熵最小化之间严格的联系。
• 开发MFG系统的时序离散化形式，使其与熵最优传输问题保持等价。
• 通过利用拉格朗日熵解释，借助Sinkhorn缩放算法实现高效数值求解。
• 在规划MFG问题、移动障碍物以及非局部相互作用模型上，展示该方法的鲁棒性和可扩展性。

提出的方法

• 将二阶MFG系统重新表述为在概率空间中路径上的拉格朗日相对熵最小化问题。
• 引入熵最小化问题的时间离散版本，证明离散欧拉型与拉格朗日型形式之间的等价性。
• 证明当时间步长趋于零时，离散熵问题的Γ-收敛性，确保数值解收敛至连续时间解。
• 利用Sinkhorn算法通过迭代缩放传输计划以满足边缘约束，高效求解离散熵问题。
• 采用半隐式格式处理非局部相互作用项，通过在每次Sinkhorn迭代中线性化势能。
• 利用薛定谔桥框架，将MFG动力学解释为在边缘约束和福克-普朗克约束下最小化熵的扩散过程。

实验结果

研究问题

• RQ1 具有扩散和二次哈密顿量的变分均场博弈系统，能否在拉格朗日框架下等价地重新表述为相对熵最小化问题？
• RQ2 当时间步长趋于零时，时间离散化的熵形式是否Γ-收敛至连续时间MFG系统？
• RQ3 Sinkhorn算法能否有效应用于求解具有复杂约束（如障碍物或非局部相互作用）的MFG问题所生成的离散熵问题？
• RQ4 熵正则化参数ε如何影响规划MFG中从扩散行为向最优传输行为的过渡？
• RQ5 该熵方法在多大程度上可推广至非凸或非对称相互作用势能的MFG问题？

主要发现

• MFG问题的时间离散化熵形式与相应的离散欧拉形式等价，从而支持稳定且精确的数值格式。
• 已证明离散熵问题在时间步长趋于零时具有Γ-收敛性，确保数值解收敛至连续时间解。
• 在环面上的规划MFG问题中，当ε从1减小到0.01时，系统行为从扩散型过渡至接近最优传输行为，质量沿最短路径移动。
• 通过在障碍物区域施加无穷大代价以强制密度为零，该方法成功处理了移动障碍物，解在动态障碍物周围平滑适应。
• 对于具有非对称核的非局部相互作用，算法产生向静止形状不对称变形的质量分布；而对称核则产生对称演化。
• 半隐式Sinkhorn方法通过在每次迭代中线性化相互作用势能，实现了对非凸F2泛函的稳定求解，同时保持收敛性。