[论文解读] Global convergence of neuron birth-death dynamics

Grant M. Rotskoff, Samy Jelassi+2 more|arXiv (Cornell University)|Feb 5, 2019

Model Reduction and Neural Networks参考文献 25被引用 15

一句话总结

本文提出了一种神经元诞生-死亡动力学，通过非局部质量传输对梯度流进行修改，从而在过参数化的神经网络中加速收敛。该方法证明了全局收敛至全局最小值，具有更快的能量收缩速率和自抑制波动，并提供了可实现的数值方案，在有限参数下也优于标准梯度下降。

ABSTRACT

Neural networks with a large number of parameters admit a mean-field description, which has recently served as a theoretical explanation for the favorable training properties of "overparameterized" models. In this regime, gradient descent obeys a deterministic partial differential equation (PDE) that converges to a globally optimal solution for networks with a single hidden layer under appropriate assumptions. In this work, we propose a non-local mass transport dynamics that leads to a modified PDE with the same minimizer. We implement this non-local dynamics as a stochastic neuronal birth-death process and we prove that it accelerates the rate of convergence in the mean-field limit. We subsequently realize this PDE with two classes of numerical schemes that converge to the mean-field equation, each of which can easily be implemented for neural networks with finite numbers of parameters. We illustrate our algorithms with two models to provide intuition for the mechanism through which convergence is accelerated.

研究动机与目标

• 在过参数化的神经网络中，超越标准梯度下降，实现更快的收敛速度。
• 设计一种非局部质量传输动力学，在保持全局最优性的同时提升收敛速率。
• 分析有限粒子系统中的波动行为，证明当优化接近最优时波动会自抑制。
• 设计可在PyTorch中实现的实用数值方案，以最小计算开销实现诞生-死亡动力学。
• 通过实证结果表明，所提出的动力学在有限宽度的神经网络中能够加速收敛。

提出的方法

• 引入一个修正的偏微分方程（PDE），通过非局部诞生-死亡过程描述参数分布的演化，该PDE源自带有附加质量传输的Wasserstein梯度流。
• 定义两种不同的诞生-死亡动力学：一种基于测度值Fokker-Planck方程，另一种基于联合分布PDE，两者均保持质量守恒并确保全局收敛。
• 利用最优传输和测度值马氏过程的工具，分析均场极限附近的波动行为，证明其尺度为$O(n^{-1/2})$，并渐近趋于零。
• 推导出两种数值方案——基于粒子动力学和基于核的更新——它们收敛至均场PDE，并可在神经网络中实现而无需额外的梯度计算。
• 提供与PyTorch兼容的方案实现，使该方法可直接应用于有限宽度网络，且无需修改模型架构。
• 分析动力学的长期行为，证明噪声项在收敛时消失，这一性质被称为“自抑制”（self-quenching）

实验结果

研究问题

• RQ1 能否设计一种非局部质量传输机制，在加速过参数化神经网络收敛的同时保持全局最优性？
• RQ2 在所提出的诞生-死亡动力学下，有限粒子系统中的波动行为如何？是否会阻碍收敛？
• RQ3 在均场极限下，与标准梯度下降相比，诞生-死亡动力学的能量收缩速率如何？
• RQ4 所提出的动力学能否在有限宽度网络中以极低计算成本实现？
• RQ5 波动的自抑制特性是否能确保在实际设置中稳定收敛至全局最小值？

主要发现

• 所提出的诞生-死亡动力学保证全局收敛至损失函数的全局最小值，且无虚假不动点。
• 能量收缩速率快于标准梯度下降，在非相互作用情况下推导出了明确的渐近收敛速率。
• 有限粒子系统中的波动为$O(n^{-1/2})$量级，且具有自抑制特性，随着动力学趋近全局最优而趋于零。
• 动力学的均场PDE保持质量守恒，且在适当假设下解收敛至全局最小解，具有良好的适定性。
• 从PDE推导出的数值方案收敛至均场极限，并在示例模型上验证了其在有限宽度网络中加速训练的效果。
• 实现诞生-死亡动力学的计算开销极低，训练神经网络时无需额外的梯度计算。