[论文解读] Diverse Neural Network Learns True Target Functions

Bo Xie, Yingyu Liang+1 more|arXiv (Cornell University)|Nov 9, 2016

Neural Networks and Applications被引用 67

一句话总结

本文证明了一类具有多样化隐藏单元的一层ReLU神经网络不存在不良局部极小值，从而确保梯度下降能够收敛至全局最优解。通过分析一阶最优性条件，并将扩展特征矩阵的最小奇异值与核谱及几何偏差相联系，作者识别出多样性与谱特性是实现真实目标函数有效学习的关键因素。

ABSTRACT

Neural networks are a powerful class of functions that can be trained with simple gradient descent to achieve state-of-the-art performance on a variety of applications. Despite their practical success, there is a paucity of results that provide theoretical guarantees on why they are so effective. Lying in the center of the problem is the difficulty of analyzing the non-convex loss function with potentially numerous local minima and saddle points. Can neural networks corresponding to the stationary points of the loss function learn the true target function? If yes, what are the key factors contributing to such nice optimization properties? In this paper, we answer these questions by analyzing one-hidden-layer neural networks with ReLU activation, and show that despite the non-convexity, neural networks with diverse units have no spurious local minima. We bypass the non-convexity issue by directly analyzing the first order optimality condition, and show that the loss can be made arbitrarily small if the minimum singular value of the "extended feature matrix" is large enough. We make novel use of techniques from kernel methods and geometric discrepancy, and identify a new relation linking the smallest singular value to the spectrum of a kernel function associated with the activation function and to the diversity of the units. Our results also suggest a novel regularization function to promote unit diversity for potentially better generalization.

研究动机与目标

• 理解尽管损失函数非凸，梯度下降为何能成功训练深度神经网络。
• 识别在何种条件下，一层ReLU网络中的局部最优解对应于全局最优解。
• 形式化单位多样性与核谱在优化与泛化中所起的作用。
• 提出一种新型正则化方案，以促进单位多样性，从而改善泛化性能。
• 通过在合成数据集和真实世界数据集（MNIST）上的数值实验验证理论结果。

提出的方法

• 采用最小二乘回归与一阶最优性条件分析一层ReLU网络，以规避非凸性问题。
• 引入扩展特征矩阵 D，并表明小的训练损失依赖于最小奇异值 s_m(D)。
• 建立 s_m(D) 与两个分量之间的新联系：与ReLU相关的核函数谱，以及单位权重的几何偏差。
• 运用核方法与几何偏差理论的技术，对 s_m(D) 进行下界估计。
• 提出一种基于 L2 偏差的新型正则化项 R(W)，以促进单位权重的多样性。
• 通过在合成数据与 MNIST 上的数值模拟验证理论结论，测量奇异值、偏差与泛化误差。

实验结果

研究问题

• RQ1 在何种条件下，尽管存在非凸性，一层ReLU网络中的局部最优解仍对应于全局最优解？
• RQ2 隐藏单元权重的多样性如何影响优化景观与泛化性能？
• RQ3 扩展特征矩阵的最小奇异值与核谱及权重多样性之间存在何种数学关系？
• RQ4 几何偏差能否作为预测神经网络训练损失与泛化误差的有意义度量？
• RQ5 基于 L2 偏差的正则化在实践中是否能改善泛化性能？

主要发现

• 当扩展特征矩阵的最小奇异值足够大时，具有多样化ReLU单元的神经网络不存在不良局部极小值。
• 最小奇异值 s_m(D) 的下界由与ReLU激活相关的核谱项，以及通过几何偏差量化权重多样性的项共同决定。
• 当核谱衰减缓慢且单元权重具有多样性时，最小奇异值较大，从而实现更小的训练损失。
• 数值实验表明，基于 L2 偏差的正则化可降低训练与测试误差，小规模网络的测试误差最高可降低 25%。
• 在 MNIST 数据集上，正则化在所有网络规模下均将测试误差稳定降低 0.2 至 0.7 个百分点，体现出实际优势。
• 理论分析与实验结果一致：偏差越低，奇异值越高，优化性能越佳。