[论文解读] The loss landscape of overparameterized neural networks

Yaim Cooper|arXiv (Cornell University)|Apr 26, 2018

Stochastic Gradient Optimization Techniques参考文献 3被引用 36

一句话总结

该论文表明，在过参数化的神经网络中——即参数数量超过训练数据点数量时——损失函数的全局最小值形成一个维度为 $ n - d $ 的高维子流形，而非离散点。这种几何结构解释了在最优解处Hessian矩阵出现大量零特征值的现象，为尽管存在非凸性但深度学习优化通常仍能成功提供了洞见。

ABSTRACT

We explore some mathematical features of the loss landscape of overparameterized neural networks. A priori one might imagine that the loss function looks like a typical function from $\mathbb{R}^n$ to $\mathbb{R}$ - in particular, nonconvex, with discrete global minima. In this paper, we prove that in at least one important way, the loss function of an overparameterized neural network does not look like a typical function. If a neural net has $n$ parameters and is trained on $d$ data points, with $n>d$, we show that the locus $M$ of global minima of $L$ is usually not discrete, but rather an $n-d$ dimensional submanifold of $\mathbb{R}^n$. In practice, neural nets commonly have orders of magnitude more parameters than data points, so this observation implies that $M$ is typically a very high-dimensional subset of $\mathbb{R}^n$.

研究动机与目标

• 理解过参数化神经网络损失景观的几何结构。
• 挑战全局最小值在高维参数空间中通常为离散点的假设。
• 证明当 $ n > d $ 时，全局最小值集合构成一个光滑的 $ n-d $-维子流形。
• 将损失景观的几何特性与训练模型中观察到的零Hessian特征值现象联系起来。
• 建立前馈网络在使用修正线性激活函数时全局最小值可实现（即损失 = 0）的条件。

提出的方法

• 对损失函数 $ L(w,b) = \sum (f_{w,b}(x_i) - y_i)^2 $ 作为从 $ \mathbb{R}^n $ 到 $ \mathbb{R} $ 的光滑映射进行理论分析。
• 应用微分几何方法，证明在一般条件下，原像 $ M = L^{-1}(0) $ 是一个光滑的 $ n-d $-维子流形。
• 利用隐函数定理和正则值理论，建立全局最小值集合的流形结构。
• 构建一种具有修正平滑激活函数的神经网络架构，能够通过最后一层隐藏层宽度 $ h \geq d $ 实现任意 $ d $ 个样本的记忆。
• 在数据和激活函数满足弱假设的条件下，证明此类网络的全局最小值集合 $ M $ 非空且光滑。
• 通过分别处理每个输出维度并相应调整余维数，将结果推广至多分类输出情形。

实验结果

研究问题

• RQ1 过参数化神经网络的损失景观是否表现出非离散的全局最小值集合？
• RQ2 在过参数化设置下，全局最小值流形的维度是多少？
• RQ3 在这种设置下，损失函数的Hessian矩阵在全局最小值处如何表现？
• RQ4 在何种网络结构和激活函数条件下，神经网络可实现零训练误差？
• RQ5 损失景观的几何结构能否解释经验观察中出现大量零Hessian特征值的现象？

主要发现

• 当 $ n > d $ 时，全局最小值集合 $ M = L^{-1}(0) $ 在一般情况下是 $ \mathbb{R}^n $ 中一个光滑的 $ n-d $-维子流形。
• 在任意全局最小值 $ m \in M $ 处，损失函数的Hessian矩阵恰好具有 $ n-d $ 个零特征值、$ d $ 个正特征值，且无负特征值。
• 对于具有修正平滑激活函数且最后一层宽度至少为 $ d $ 的前馈网络，全局最小值是可实现的（即 $ M $ 非空），并构成一个光滑的 $ n-d $-维子流形。
• 该结果适用于形式为 $ \sum |f_i(w,b) - y_i|^a $ 且 $ a \geq 1 $ 的广义损失函数类，前提是 $ f_i $ 是光滑函数。
• 损失景观的几何结构——特别是高维最小值流形——为训练模型中观察到的大量零Hessian特征值提供了理论解释。
• 研究结果对多维输出具有鲁棒性，当输出位于 $ \mathbb{R}^\ell $ 时，最小值流形的余维数为 $ \ell d $。