[论文解读] Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks

Cong Fang, Jason D. Lee+2 more|arXiv (Cornell University)|Jul 2, 2020

Stochastic Gradient Optimization Techniques被引用 13

一句话总结

本文提出了一种针对过参数化深度神经网络（DNNs）的新型平均场框架，该框架通过隐藏单元特征上的概率测度而非网络权重来建模DNNs。通过提出一种称为‘神经特征流’的非线性动力学，作者证明了在残差网络（ResNet）架构下，通过梯度下降训练可全局收敛至最小解，这是首个在平均场框架下针对超过三层的过参数化DNNs实现全局收敛的理论证明。

ABSTRACT

This paper proposes a new mean-field framework for over-parameterized deep neural networks (DNNs), which can be used to analyze neural network training. In this framework, a DNN is represented by probability measures and functions over its features (that is, the function values of the hidden units over the training data) in the continuous limit, instead of the neural network parameters as most existing studies have done. This new representation overcomes the degenerate situation where all the hidden units essentially have only one meaningful hidden unit in each middle layer, and further leads to a simpler representation of DNNs, for which the training objective can be reformulated as a convex optimization problem via suitable re-parameterization. Moreover, we construct a non-linear dynamics called neural feature flow, which captures the evolution of an over-parameterized DNN trained by Gradient Descent. We illustrate the framework via the standard DNN and the Residual Network (Res-Net) architectures. Furthermore, we show, for Res-Net, when the neural feature flow process converges, it reaches a global minimal solution under suitable conditions. Our analysis leads to the first global convergence proof for over-parameterized neural network training with more than $3$ layers in the mean-field regime.

研究动机与目标

• 为解决在分析过参数化深度神经网络时存在的理论局限性，特别是非凸性以及缺乏全局收敛性保证的问题。
• 克服现有平均场模型中中间层隐藏单元退化为单一有效单元的缺陷。
• 构建一种连续的、基于特征的DNN表示方法，使训练目标可被凸化重参数化。
• 建立一种非线性动力学——‘神经特征流’——以捕捉过参数化DNN在训练过程中的演化。
• 证明在平均场极限下，梯度下降对深度网络（特别是ResNet）的全局收敛性。

提出的方法

• 在连续极限下使用隐藏单元输出（特征）上的概率测度来表示DNN，而非网络权重上的概率测度。
• 引入‘神经特征流’——一种麦凯恩-弗拉斯科夫（McKean-Vlasov）类型的非线性偏微分方程——以建模训练过程中特征分布的演化。
• 将训练目标重新表述为在特征概率测度空间上的凸优化问题，从而实现全局收敛性分析。
• 应用缩放梯度下降以确保在平均场极限下的稳定性，将离散训练动力学与连续特征流联系起来。
• 利用次高斯和次指数尾部浓度不等式，控制无限宽网络有限宽度近似中的波动。
• 通过分析神经特征流的长期行为，在适当假设下证明其收敛至全局最小值。

实验结果

研究问题

• RQ1 能否构建一种DNN的平均场框架，避免中间层单元退化为单一有效单元？
• RQ2 所提出的基于特征的平均场模型是否允许对DNN训练目标进行凸化重参数化？
• RQ3 神经特征流动力学是否能准确捕捉在梯度下降下过参数化DNN的训练轨迹？
• RQ4 在适当条件下，ResNet的神经特征流是否收敛至全局最小值？
• RQ5 是否可能在平均场框架下证明超过三层的过参数化DNN实现全局收敛？

主要发现

• 所提出的平均场框架通过在特征上使用概率测度来建模DNNs，避免了基于权重的平均场模型中常见的退化问题。
• 在适当的重参数化下，连续DNN公式下的训练目标变为凸的，从而实现了全局优化保证。
• 神经特征流能够捕捉过参数化DNN在梯度下降过程中的演化，为分析提供连续时间动力系统。
• 对于ResNet架构，在适当假设下，神经特征流收敛至全局最小解。
• 本工作首次在平均场框架下建立了超过三层的过参数化深度神经网络的全局收敛性证明。