[论文解读] Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods

Taiji Suzuki, Shunta Akiyama|arXiv (Cornell University)|May 3, 2021

Sparse and Compressive Sensing Techniques参考文献 58被引用 4

一句话总结

该论文表明，通过利用过参数化神经网络的非凸几何结构，使用非凸噪声梯度下降的深度学习可实现比任何线性估计器（包括核方法、随机特征和k-NN）更快的过剩风险率。理论分析证明了在高维情况下的极小极大最优收敛速率，即使没有显式的稀疏正则化，也表现出可证明的优越性。

ABSTRACT

Establishing a theoretical analysis that explains why deep learning can outperform shallow learning such as kernel methods is one of the biggest issues in the deep learning literature. Towards answering this question, we evaluate excess risk of a deep learning estimator trained by a noisy gradient descent with ridge regularization on a mildly overparameterized neural network, and discuss its superiority to a class of linear estimators that includes neural tangent kernel approach, random feature model, other kernel methods, k-NN estimator and so on. We consider a teacher-student regression model, and eventually show that {\it any} linear estimator can be outperformed by deep learning in a sense of the minimax optimal rate especially for a high dimension setting. The obtained excess bounds are so-called fast learning rate which is faster than O(1/n) that is obtained by usual Rademacher complexity analysis. This discrepancy is induced by the non-convex geometry of the model and the noisy gradient descent used for neural network training provably reaches a near global optimal solution even though the loss landscape is highly non-convex. Although the noisy gradient descent does not employ any explicit or implicit sparsity inducing regularization, it shows a preferable generalization performance that dominates linear estimators.

研究动机与目标

• 解决深度学习泛化性能优于浅层方法（如核模型）的开放性问题。
• 在教师-学生回归框架下，分析通过带岭正则化的噪声梯度下降训练的深度学习的过剩风险。
• 建立深度学习可实现比任何线性估计器（包括神经正切核和k-NN）更快的收敛速率。
• 证明非凸优化结合噪声可实现向近全局最优解的收敛，从而实现更优的泛化性能。

提出的方法

• 分析一个适度过参数化的两层ReLU神经网络，并引入岭正则化。
• 使用噪声梯度下降训练深度模型，利用随机性逃离局部极小值。
• 采用教师-学生回归模型定义真实潜在函数和泛化误差。
• 基于非凸优化理论和高维统计分析，推导过剩风险上界。
• 将深度学习估计器的风险与包括核方法和k-NN在内的广泛线性估计器类进行比较。
• 建立快于O(1/n)的快速学习速率，其归因于模型的非凸几何结构和噪声诱导的收敛。

实验结果

研究问题

• RQ1 在高维设置下，使用噪声梯度下降的深度学习是否能优于线性估计器实现更好的泛化？
• RQ2 深度网络的非凸几何结构是否能实现比核方法更快的收敛速率？
• RQ3 在没有显式稀疏正则化的情况下，噪声梯度下降如何促进过参数化深度模型的泛化？
• RQ4 在极小极大意义下，深度学习的过剩风险是否可证明地小于核方法及相关线性估计器？
• RQ5 过参数化与噪声之间的相互作用在实现近全局收敛和快速学习速率中起到什么作用？

主要发现

• 通过噪声梯度下降训练的深度学习估计器，其过剩风险率快于任何线性估计器，包括核方法和k-NN。
• 过剩风险上界快于O(1/n)，表明存在由模型非凸几何结构带来的快速学习速率。
• 无需显式稀疏正则化——仅靠梯度下降中的噪声即可实现更优的泛化性能。
• 尽管损失函数高度非凸，该方法仍可证明收敛至近全局最优解。
• 其优越性在极小极大最优意义下成立，尤其在高维设置中表现显著。
• 理论分析证实，深度学习在泛化误差方面可超越神经正切核及其相关线性近似。