[论文解读] Local Geometry of One-Hidden-Layer Neural Networks for Logistic Regression.

Haoyu Fu, Yuejie Chi+1 more|arXiv (Cornell University)|Feb 18, 2018

Stochastic Gradient Optimization Techniques参考文献 12被引用 14

一句话总结

该论文在输入为高斯分布、损失函数为二次损失的一层隐藏层神经网络中，建立了经验风险的强凸性和光滑性，证明了当初始化在局部邻域内时，梯度下降可线性收敛至接近真实参数的点，且无需在每次迭代中重采样，首次在接近最优的样本复杂度和计算复杂度下实现了多神经元逻辑回归的全局收敛保证。

ABSTRACT

We study the local geometry of a one-hidden-layer fully-connected neural network where the training samples are generated from a multi-neuron logistic regression model. We prove that under Gaussian input, the empirical risk function employing quadratic loss exhibits strong convexity and smoothness uniformly in a local neighborhood of the ground truth, for a class of smooth activation functions satisfying certain properties, including sigmoid and tanh, as soon as the sample complexity is sufficiently large. This implies that if initialized in this neighborhood, gradient descent converges linearly to a critical point that is provably close to the ground truth without requiring a fresh set of samples at each iteration. This significantly improves upon prior results on learning shallow neural networks with multiple neurons. To the best of our knowledge, this is the first global convergence guarantee for one-hidden-layer neural networks using gradient descent over the empirical risk function without resampling at the near-optimal sampling and computational complexity.

研究动机与目标

• 分析在多神经元逻辑回归模型数据上通过梯度下降训练的一层隐藏层神经网络的局部几何结构。
• 建立经验风险函数在真实参数邻域内强凸性和光滑性的条件。
• 证明梯度下降在无需每轮重采样条件下，可全局收敛至接近真实参数的点。
• 通过消除每轮迭代需新样本的需求，拓展了浅层神经网络学习的先前结果，提升了计算与采样效率。

提出的方法

• 在使用光滑激活函数的一层全连接神经网络中，利用二次损失分析经验风险函数。
• 证明在高斯输入和足够样本复杂度下，经验风险函数在真实参数的局部邻域内具有强凸性和光滑性。
• 应用高维概率和矩阵集中工具，对真实参数附近的经验风险的黑塞矩阵进行有界。
• 证明梯度下降可在线性收敛至该邻域内的一个临界点，且该点可被严格证明接近真实参数。
• 依赖Sigmoid和Tanh等激活函数的性质，这些函数满足特定的光滑性和有界导数条件。
• 通过证明局部区域内的一致凸性和光滑性，实现无重采样下的收敛，从而确保优化动态的稳定性。

实验结果

研究问题

• RQ1 在何种条件下，单隐藏层神经网络的经验风险函数在真实参数邻域内具有强凸性和光滑性？
• RQ2 梯度下降是否可在无需每轮重采样条件下，实现收敛至接近真实参数的全局收敛？
• RQ3 为确保光滑激活函数（如Sigmoid和Tanh）下经验风险的强凸性和光滑性，所需样本复杂度是多少？
• RQ4 风险景观的局部几何结构如何影响浅层神经网络通过梯度下降优化的收敛性？
• RQ5 在接近最优的采样和计算复杂度下，是否可实现无需每轮新样本的收敛保证？

主要发现

• 当输入为高斯分布且样本复杂度足够大时，使用二次损失的经验风险函数在真实参数的局部邻域内具有强凸性和光滑性。
• 当初始化在该邻域内时，梯度下降可线性收敛至一个可被严格证明接近真实参数的临界点。
• 该收敛保证无需每轮重采样，优于先前需每步使用新样本的研究结果。
• 该结果适用于一大类光滑激活函数，包括Sigmoid和Tanh，在较弱正则性条件下成立。
• 这是首次在无重采样条件下，基于接近最优的样本和计算复杂度，为单隐藏层神经网络通过梯度下降优化经验风险提供全局收敛保证。
• 局部几何结构确保了稳定高效的优化，使得在高概率下可证明收敛至接近最优解。