[论文解读] Characterization of Gradient Dominance and Regularity Conditions for Neural Networks

Yi Zhou, Yingbin Liang|arXiv (Cornell University)|Oct 18, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用 27

一句话总结

本文对具有平方参数的线性、线性残差以及单隐藏层非线性神经网络在平方损失下的损失曲面进行了理论表征。它在满秩全局最小值点附近建立了梯度主导性和正则性条件，确保了一阶优化方法在该邻域内的线性收敛。

ABSTRACT

The past decade has witnessed a successful application of deep learning to solving many challenging problems in machine learning and artificial intelligence. However, the loss functions of deep neural networks (especially nonlinear networks) are still far from being well understood from a theoretical aspect. In this paper, we enrich the current understanding of the landscape of the square loss functions for three types of neural networks. Specifically, when the parameter matrices are square, we provide an explicit characterization of the global minimizers for linear networks, linear residual networks, and nonlinear networks with one hidden layer. Then, we establish two quadratic types of landscape properties for the square loss of these neural networks, i.e., the gradient dominance condition within the neighborhood of their full rank global minimizers, and the regularity condition along certain directions and within the neighborhood of their global minimizers. These two landscape properties are desirable for the optimization around the global minimizers of the loss function for these neural networks.

研究动机与目标

• 理解深度神经网络中平方损失函数的几何特性，特别是围绕全局最小值点的特性。
• 将浅层线性网络中关于全局最小值点的已知结果扩展到深层线性网络、残差网络以及具有单隐藏层的非线性网络。
• 在全局最小值点的邻域内建立局部梯度主导性和正则性条件，以保证优化收敛性。
• 当参数矩阵为平方矩阵时，提供全局最小值点的显式、可计算的表征。
• 分析全局最小值点处损失函数的海森矩阵结构与曲率特性，以提供理论上的优化保证。

提出的方法

• 推导出具有平方权重矩阵的深层线性网络、线性残差网络以及单隐藏层非线性网络在平方损失下的全局最小值点的显式闭式表达式。
• 应用矩阵微积分与向量化技术，计算损失函数在全局最小值点处的梯度与海森矩阵。
• 利用矩阵导数的复合法则与链式法则分析海森矩阵结构，特别是全局最小值点处的海森矩阵。
• 通过证明在全局最小值点邻域内满足 $ f(x) - f(x^*) \leq \lambda \|\nabla f(x)\|^2 $，建立梯度主导性条件。
• 推导出保证收敛性的正则性条件 $ \langle x - x^*, \nabla f(x) \rangle \geq \alpha \|\nabla f(x)\|^2 + \beta \|x - x^*\|^2 $。
• 将海森矩阵分析为矩阵乘积形式 $ \mathbf{H}^\top \mathbf{H} $，证明其在最小值点附近具有正定性与曲率控制特性。

实验结果

研究问题

• RQ1 具有平方权重矩阵的深层线性网络、线性残差网络以及单隐藏层非线性网络的全局最小值点的显式形式是什么？
• RQ2 对于这些网络类型，在全局最小值点的邻域内，梯度主导性条件是否成立？
• RQ3 在全局最小值点的邻域内，正则性条件是否满足，从而确保一阶方法的线性收敛？
• RQ4 全局最小值点处的海森矩阵结构与曲率特性如何影响优化动力学？
• RQ5 能否对线性、残差与非线性架构下的平方损失曲面特性进行统一表征？

主要发现

• 深层线性网络的全局最小值点在等价类意义下被显式唯一表征，且所有最小值点均为满秩。
• 对于线性残差网络与单隐藏层非线性网络，其满秩全局最小值点也得到了表征，推广了先前对浅层网络的研究结果。
• 在所有三种网络类型中，全局最小值点的邻域内均满足梯度主导性条件，且存在正常数 $ \lambda $。
• 在全局最小值点的邻域内，正则性条件成立，且存在正常数 $ \alpha $ 与 $ \beta $，从而保证了迭代序列的线性收敛。
• 全局最小值点处的海森矩阵可表示为 $ \nabla^2 g(\mathbf{W}^*) = \mathbf{H}^\top \mathbf{H} $，证实了其正定性与曲率控制特性。
• 分析结果表明，由于这些曲面特性，梯度下降等优化算法在全局最小值点附近可实现线性收敛。