[论文解读] Global Convergence of Second-order Dynamics in Two-layer Neural Networks

Walid Krichene, Kenneth Paulo Caluya+1 more|arXiv (Cornell University)|Jul 14, 2020

Model Reduction and Neural Networks参考文献 36被引用 6

一句话总结

该论文在平均场极限下建立了两层神经网络中重球法——一种二阶优化动力学——的全局收敛性。通过分析由动力学导出的非线性动能福克-普朗克方程，并利用李雅普诺夫泛函，作者证明了其渐近收敛至全局最优解，将先前关于一阶梯度流结果扩展至基于动量的优化方法，且无需依赖与Wasserstein梯度流的联系。

ABSTRACT

Recent results have shown that for two-layer fully connected neural networks, gradient flow converges to a global optimum in the infinite width limit, by making a connection between the mean field dynamics and the Wasserstein gradient flow. These results were derived for first-order gradient flow, and a natural question is whether second-order dynamics, i.e., dynamics with momentum, exhibit a similar guarantee. We show that the answer is positive for the heavy ball method. In this case, the resulting integro-PDE is a nonlinear kinetic Fokker Planck equation, and unlike the first-order case, it has no apparent connection with the Wasserstein gradient flow. Instead, we study the variations of a Lyapunov functional along the solution trajectories to characterize the stationary points and to prove convergence. While our results are asymptotic in the mean field limit, numerical simulations indicate that global convergence may already occur for reasonably small networks.

研究动机与目标

• 研究在平均场极限下，二阶动力学（特别是重球法）是否能在两层神经网络中实现全局收敛。
• 将先前关于一阶梯度流收敛性的结果推广至基于动量的优化动力学。
• 分析重球法的平均场极限，其导出一个非线性动能福克-普朗克方程，且与Wasserstein梯度流无直接关联。
• 通过李雅普诺夫泛函方法建立收敛至全局最优解的证明，即使缺乏与Wasserstein梯度流的联系。

提出的方法

• 将两层神经网络建模为基于参数θ ∈ ℝ^d上概率测度μ的测度值优化问题。
• 将重球动力学建模为具有恒定阻尼的二阶微分方程，进而在平均场极限下导出一个非线性动能福克-普朗克方程。
• 定义一个李雅普诺夫泛函，其沿解轨迹的变化特性可刻画驻点并确保收敛性。
• 证明该李雅普诺夫泛函沿轨迹单调递减，从而推导出收敛至全局极小化器的结论。
• 利用正则化项g(θ)为束缚型以及风险泛函R为凸且Fréchet可微的假设，确保平均场动力学的适定性。
• 将先前二次损失设定下的条件推广至凸设定，确保泛函导数的统一等度连续性与有界性。

实验结果

研究问题

• RQ1 在平均场极限下，重球法作为一种二阶优化动力学，是否能在两层神经网络中全局收敛至全局最优解？
• RQ2 能否在不依赖与Wasserstein梯度流联系的前提下，建立二阶动力学的收敛性，如一阶情形中所采用的那样？
• RQ3 李雅普诺夫泛函在刻画平均场框架下重球法的驻点及证明收敛性方面起到何种作用？
• RQ4 在将正则化项与风险泛函的假设从二次设定推广至凸设定时，如何保持收敛性保证？
• RQ5 数值模拟在多大程度上表明，即使在有限宽度网络中，全局收敛性仍可能显现？

主要发现

• 在平均场极限下，尽管缺乏与Wasserstein梯度流的联系，两层神经网络中的重球法仍能实现全局收敛至全局最优解。
• 重球法的平均场动力学由一个非线性动能福克-普朗克方程所支配，其与一阶动力学中常见的Wasserstein梯度流有本质区别。
• 构造了一个李雅普诺夫泛函，其沿轨迹的单调递减性证明了收敛至全局极小化器。
• 在温和假设下，正则化风险的泛函导数具有统一等度连续性与有界性，确保了平均场动力学的适定性。
• 结果为平均场极限下的渐近性质，但数值模拟表明，全局收敛性可能在合理宽度的网络中已开始显现。
• 在二次损失情形下，先前工作中假设(B1)与(B2)可推出广义假设(A4)，验证了该框架与现有结果的一致性。