[论文解读] Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases

Arnulf Jentzen, Timo Kröger|arXiv (Cornell University)|Feb 23, 2021

Machine Learning and ELM被引用 4

一句话总结

该论文为带有偏置项的过参数化全连接ReLU神经网络中的批量梯度下降建立了线性收敛速率，表明在满足宽度足够、学习率较小以及输入数据线性无关的条件下，训练误差会以指数速度快速衰减。分析证明，均方误差以线性速率收敛至零，为梯度下降在过参数化设置下的经验成功提供了理论依据。

ABSTRACT

In recent years, artificial neural networks have developed into a powerful tool for dealing with a multitude of problems for which classical solution approaches reach their limits. However, it is still unclear why randomly initialized gradient descent optimization algorithms, such as the well-known batch gradient descent, are able to achieve zero training loss in many situations even though the objective function is non-convex and non-smooth. One of the most promising approaches to solving this problem in the field of supervised learning is the analysis of gradient descent optimization in the so-called overparameterized regime. In this article we provide a further contribution to this area of research by considering overparameterized fully-connected rectified artificial neural networks with biases. Specifically, we show that for a fixed number of training data the mean squared error using batch gradient descent optimization applied to such a randomly initialized artificial neural network converges to zero at a linear convergence rate as long as the width of the artificial neural network is large enough, the learning rate is small enough, and the training input data are pairwise linearly independent.

研究动机与目标

• 解释尽管损失函数的景观是非凸且非光滑的，为何梯度下降在过参数化的神经网络中仍能实现零训练损失。
• 通过在全连接ReLU网络中引入偏置项，扩展先前的收敛结果。
• 在该过参数化设置下，为批量梯度下降建立定量的收敛速率。
• 分析随机初始化、网络宽度以及输入数据结构在确保收敛中的作用。

提出的方法

• 分析带有偏置项的过参数化全连接ReLU网络中批量梯度下降的训练过程，采用随机权重初始化。
• 推导训练过程中经验风险相对于网络参数的梯度的精确表达式。
• 建立训练动态与网络在初始化时特征映射的格拉姆矩阵之间的联系。
• 利用集中不等式和亚指数尾部界来控制优化过程中的随机格拉姆矩阵。
• 证明在宽度足够大且学习率足够小时，经验风险以线性速率衰减。
• 表明梯度流的极限对应于由网络特征映射和ReLU激活函数决定的线性系统。

实验结果

研究问题

• RQ1 在过参数化ReLU网络（含偏置项）中，批量梯度下降在何种条件下实现线性收敛？
• RQ2 在过参数化设置下，偏置项的引入如何影响梯度下降的收敛行为？
• RQ3 训练数据的线性独立性在确保收敛至零训练误差中起到什么作用？
• RQ4 网络宽度与学习率如何共同影响收敛速率？
• RQ5 在过参数化设置下，梯度下降的动力学能否通过一个极限线性系统来刻画？

主要发现

• 当网络宽度足够大时，随着训练步数的增加，均方误差以线性速率收敛至零。
• 当学习率足够小且输入数据两两线性无关时，收敛可被保证。
• 梯度流的极限对应于一个线性系统，其中网络输出由输入与网络隐层权重的内积决定。
• 收敛速率受 (1 - ηΛ)^n 限制，其中 Λ 是与确定性格拉姆矩阵最小特征值相关的正常数。
• 以至少 1 - ε 的高概率，经验风险随时间呈指数快速衰减。
• 分析确认，偏置的存在不会阻碍收敛，且网络的特征映射在训练过程中保持良好条件。