[论文解读] Electron-Proton Dynamics in Deep Learning.

Qiuyi Zhang, Rina Panigrahy‎+1 more|arXiv (Cornell University)|Feb 1, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用 22

一句话总结

本文研究了在具有线性输出和各种激活函数的两层神经网络中，梯度下降的收敛性。在较弱假设下，证明了节点级随机梯度下降可在有限的多项式时间与样本复杂度内收敛至全局最小值，为深度学习的经验成功提供了理论依据。

ABSTRACT

We study the efficacy of learning neural networks with neural networks by the (stochastic) gradient descent method. While gradient descent enjoys empirical success in a variety of applications, there is a lack of theoretical guarantees that explains the practical utility of deep learning. We focus on two-layer neural networks with a linear activation on the output node. We show that under some mild assumptions and certain classes of activation functions, gradient descent does learn the parameters of the neural network and converges to the global minima. Using a node-wise gradient descent algorithm, we show that learning can be done in finite, sometimes $poly(d,1/\epsilon)$, time and sample complexity.

研究动机与目标

• 通过分析两层神经网络中的梯度下降，为深度学习的经验成功提供理论解释。
• 研究在较弱假设和特定激活函数下，梯度下降是否能收敛至全局最小值。
• 为使用节点级梯度下降学习参数建立有限时间与样本复杂度的边界。
• 分析具有线性输出层的深度学习中随机梯度下降的收敛行为。

提出的方法

• 研究聚焦于输出节点采用线性激活函数、隐藏层采用非线性激活函数的两层神经网络。
• 采用节点级梯度下降算法，对每个神经元独立更新参数，从而简化优化过程。
• 在数据分布和激活函数的较弱假设下进行理论分析，包括ReLU及其他分段线性函数。
• 在这些假设下，利用损失曲面的稳定性和光滑性特性，证明了收敛至全局最小值。
• 分析时间与样本复杂度，表明收敛时间与样本量为 poly(d, 1/ε) 阶，其中 d 为输入维度，ε 为期望精度。

实验结果

研究问题

• RQ1 在具有线性输出的两层神经网络中，梯度下降在何种条件下收敛至全局最小值？
• RQ2 在特定激活函数下，能否保证随机梯度下降在有限时间内收敛？
• RQ3 在此设置下，使用节点级梯度下降学习参数所需的样本复杂度是多少？
• RQ4 对数据和激活函数的较弱假设如何影响梯度下降的收敛性？

主要发现

• 在较弱假设下，对于具有线性输出和合适激活函数的两层神经网络，梯度下降可收敛至全局最小值。
• 收敛时间受输入维度 d 和期望精度 ε 的倒数的多项式边界约束，即 poly(d, 1/ε)。
• 学习所需的样本复杂度同样受 d 和 1/ε 的多项式边界约束，确保学习过程有限且高效。
• 节点级梯度下降通过解耦每个神经元的参数更新，实现收敛，从而简化了优化与分析。