[论文解读] Exponentially vanishing sub-optimal local minima in multilayer neural networks

Daniel Soudry, Elad Hoffer|arXiv (Cornell University)|Feb 19, 2017

Neural Networks and Applications参考文献 33被引用 54

一句话总结

本论文证明，在用均方误差训练的带有一个隐藏层的多层神经网络（MNN）中，包含次优局部极小值的可微区域体积相对于全局极小值，在适度的过参数化和高斯输入假设下呈指数级消失。

ABSTRACT

Background: Statistical mechanics results (Dauphin et al. (2014); Choromanska et al. (2015)) suggest that local minima with high error are exponentially rare in high dimensions. However, to prove low error guarantees for Multilayer Neural Networks (MNNs), previous works so far required either a heavily modified MNN model or training method, strong assumptions on the labels (e.g., "near" linear separability), or an unrealistic hidden layer with $Ω\left(N ight)$ units. Results: We examine a MNN with one hidden layer of piecewise linear units, a single output, and a quadratic loss. We prove that, with high probability in the limit of $N ightarrow\infty$ datapoints, the volume of differentiable regions of the empiric loss containing sub-optimal differentiable local minima is exponentially vanishing in comparison with the same volume of global minima, given standard normal input of dimension $d_{0}= ildeΩ\left(\sqrt{N} ight)$, and a more realistic number of $d_{1}= ildeΩ\left(N/d_{0} ight)$ hidden units. We demonstrate our results numerically: for example, $0\%$ binary classification training error on CIFAR with only $N/d_{0}\approx 16$ hidden neurons.

研究动机与目标

• 促使理解为何 SGD 在过参数化的 MNNs 中能找到低训练误差的解。
• 提出一个切实可行的 MNN 设置，以分析次优局部极小值的普遍性。
• 推导出概率界限，表明次优区域的概率比全局极小值要稀少呈指数级。
• 力求量化过参数化在实际网络规模中减少次优极小值的作用。

提出的方法

• 分析一个具有单隐藏层分段线性单元、输出为标量的两层 MNN。
• 使用均方误差损失和可微局部极小值（DLM）作为分析重点。
• 定义激活模式固定的可微区域，将残差误差与秩条件 (A ∘ X) e = 0 联系起来。
• 引入角度体积作为在随机高斯初始化下参数区域的概率测度。
• 证明次优 DLM 的角度体积的上界，以及全局极小值的角度体积的下界。
• 建立一个主定理，给出体积比的界限，显示相对于全局极小值，次优区域呈指数级消失。

实验结果

研究问题

• RQ1 在高维下，在哪些条件下次优可微局部极小值会呈指数级稀少？
• RQ2 就隐藏层宽度和输入维度而言，过参数化如何影响包含次优与全局极小值的区域体积？
• RQ3 在现实假设（高斯输入、适度过参数化）下，是否能在不修改 MNN 或训练方法的情况下，对低训练误差给出可证明的保证？

主要发现

• 在给定假设下，MCE > ε 的次优 DLM 的期望角度体积在 N 上呈指数级变小。
• 全局极小值在高概率下存在，且具有非微不足道的角度体积，确保了与次优区域的有意义比较。
• 体积比 V(Lε) / V(G) 被上界为 exp(-γε N^{3/4} (d1 d0)^{1/4})，且亦 ≤ exp(-γε N log N)，表明次优区域呈指数级稀缺。
• 在高斯数据和真实数据集（MNIST、CIFAR、ImageNet）上的数值实验显示，在相对适度的参数数量（约 N 参数）下，训练误差接近零，与理论一致。
• 数值上非可微的临界点出现较少，主要结论聚焦于可微分局部极小值。