[论文解读] Mean-field Langevin System, Optimal Control and Deep Neural Networks

Kaitong Hu, Anna Kazeykina+1 more|arXiv (Cornell University)|Sep 16, 2019

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 27被引用 11

一句话总结

本文提出一种基于平均场Langevin系统的连续时间算法，通过利用其不变测度对应于最优控制的随机过程，求解高维最优控制问题。在较弱条件下建立了对全局最小值的收敛性，为深度神经网络中随机梯度下降的收敛性提供了理论依据。

ABSTRACT

In this paper, we study a regularised relaxed optimal control problem and, in particular, we are concerned with the case where the control variable is of large dimension. We introduce a system of mean-field Langevin equations, the invariant measure of which is shown to be the optimal control of the initial problem under mild conditions. Therefore, this system of processes can be viewed as a continuous-time numerical algorithm for computing the optimal control. As an application, this result endorses the solvability of the stochastic gradient descent algorithm for a wide class of deep neural networks.

研究动机与目标

• 解决传统基于梯度的方法在非凸性和高维控制空间下难以求解的高维最优控制问题。
• 基于平均场Langevin动力学，开发一种无需凸性假设的连续时间随机算法，以逼近最优控制。
• 严格建立平均场Langevin系统的不变测度与正则化最优控制问题解之间的联系。
• 通过将训练动力学与Langevin系统的不变测度关联，为深度神经网络中随机梯度下降的收敛性提供理论支持。

提出的方法

• 将正则化松弛最优控制问题表述为：控制以时间依赖的概率测度（律的流动）形式表示，而非确定性控制函数。
• 引入由布朗运动驱动的平均场SDE（随机微分方程）系统，其漂移项由最优控制问题的哈密顿量导出。
• 证明在较弱的正则性和Lipschitz条件下，平均场Langevin过程的不变测度即为原问题最优控制的解。
• 利用耦合技术与伊藤-塔纳卡公式，建立该过程的收缩性质，确保过程律收敛至其不变测度。
• 应用福克-普朗克-柯尔莫哥洛夫方程分析过程律的演化，并推导时间截断律之间Wasserstein距离的估计。
• 利用相对熵正则化在测度空间中保持凸性的特性，即使在非凸设置下，也能确保收敛至全局最小值。

实验结果

研究问题

• RQ1 能否构造一个连续时间随机过程，使其不变测度能给出高维、非凸最优控制问题的最优控制？
• RQ2 平均场Langevin动力学如何确保收敛至正则化最优控制问题的全局最小值？
• RQ3 漂移和扩散系数需满足何种条件，才能保证不变测度的存在性与唯一性，以及其收敛至最优控制？
• RQ4 该框架在多大程度上能解释深度神经网络训练中SGD经验成功的理论基础？
• RQ5 在适当的耦合与正则性假设下，能否通过Wasserstein距离量化过程律向不变测度的收敛性？

主要发现

• 在较弱条件下（包括系数的Lipschitz连续性与有界性），平均场Langevin系统的不变测度被证明为原正则化最优控制问题的最优控制。
• 该系统提供了一种连续时间数值算法，用于计算最优控制，其收敛性通过Wasserstein度量中的收缩估计得到保证。
• 在适当条件下，过程律向其不变测度的收敛速率通过Wasserstein距离 $\overline{\cal W}^{T}_{1}$ 量化，并呈现指数衰减。
• 分析表明，由连续梯度下降动力学控制的过程 $\alpha^s$ 满足 $\frac{dV^0}{ds} = -\int_0^T |\nabla_a H|^2 dt$，确认 $V^0$ 为李雅普诺夫函数，且临界点对应庞特里亚金系统的解。
• 该方法为深度神经网络中SGD收敛性提供了理论基础，表明训练动力学可建模为平均场Langevin过程，其不变测度对应于最优权重分布。
• 论文证明，在对数索博列夫型条件下，两个平均场SDE解之间的Wasserstein距离随时间呈指数衰减，且其衰减速率显式依赖于扩散系数 $\sigma$ 与哈密顿量导数的Lipschitz常数。