[论文解读] Mean Field Analysis of Neural Networks

Justin Sirignano, Konstantinos Spiliopoulos|arXiv (Cornell University)|May 2, 2018

Model Reduction and Neural Networks参考文献 14被引用 32

一句话总结

本文对大规模网络规模和大量训练迭代下的神经网络进行了严格的平均场分析，证明了参数的经验分布收敛于一个非线性偏微分方程的解。一个关键结果是，训练后的参数渐近独立，确立了混沌传播特性。

ABSTRACT

Machine learning has revolutionized fields such as image, text, and speech recognition. There's also growing interest in applying machine and deep learning ideas in engineering, robotics, biotechnology, and finance. Despite their immense success in practice, there is limited mathematical understanding of neural networks. We mathematically study neural networks in the asymptotic regime of simultaneously (A) large network sizes and (B) large numbers of stochastic gradient descent training iterations. We rigorously prove that the empirical distribution of the neural network parameters converges to the solution of a nonlinear partial differential equation. This result can be considered a law of large numbers for neural networks. In addition, a consequence of our analysis is that the trained parameters of the neural network asymptotically become independent, a property which is commonly called propagation of chaos.

研究动机与目标

• 为了在大规模网络规模和大量训练迭代的渐近极限下，数学上理解神经网络的行为。
• 为大规模神经网络中随机梯度下降的动力学建立严格的理论基础。
• 分析当网络规模和训练步数增长时，网络参数经验分布的极限行为。
• 证明训练后网络参数渐近独立，即所谓的混沌传播特性。

提出的方法

• 在宽度和训练迭代次数均较大的联合极限下分析神经网络。
• 使用非线性Fokker-Planck型偏微分方程对网络参数经验分布的演化进行建模。
• 应用概率论和统计力学的工具，研究经验测度收敛于确定性解的过程。
• 在大网络极限下，使用平均场近似描述参数之间的相互作用。
• 在较弱的正则性条件下，建立经验分布收敛于非线性PDE解的结果。

实验结果

研究问题

• RQ1 在大规模网络规模和大量训练迭代的极限下，神经网络参数的经验分布行为如何？
• RQ2 大规模神经网络中随机梯度下降的动力学能否由一个确定性PDE描述？
• RQ3 在何种条件下，参数分布会收敛于非线性PDE的解？
• RQ4 在大规模、充分训练的神经网络中，参数的渐近独立性——即混沌传播——是否会出现？

主要发现

• 在大规模网络和长时间训练的极限下，神经网络参数的经验分布收敛于一个非线性偏微分方程的解。
• 该收敛性在激活函数和数据分布具有较弱正则性假设的条件下得以建立。
• 极限PDE描述了在随机梯度下降下参数分布的确定性演化过程。
• 训练后的参数渐近独立，证实了在平均场极限下混沌传播特性的存在。