[论文解读] Gradient Descent can Learn Less Over-parameterized Two-layer Neural Networks on Classification Problems

Atsushi Nitanda, Geoffrey Chinot+1 more|arXiv (Cornell University)|May 23, 2019

Stochastic Gradient Optimization Techniques参考文献 44被引用 22

一句话总结

该论文在二层ReLU网络的二分类问题中，针对梯度下降法建立了全局收敛性和泛化保证，且网络参数量少于过参数化。通过在神经正切模型框架内引入可分性假设，作者显著改善了对网络宽度的依赖关系，使得在远低于以往依赖神经正切核正定性的研究所需的过参数化程度下，仍能实现泛化。

ABSTRACT

Recently, several studies have proven the global convergence and generalization abilities of the gradient descent method for two-layer ReLU networks. Most studies especially focused on the regression problems with the squared loss function, except for a few, and the importance of the positivity of the neural tangent kernel has been pointed out. On the other hand, the performance of gradient descent on classification problems using the logistic loss function has not been well studied, and further investigation of this problem structure is possible. In this work, we demonstrate that the separability assumption using a neural tangent model is more reasonable than the positivity condition of the neural tangent kernel and provide a refined convergence analysis of the gradient descent for two-layer networks with smooth activations. A remarkable point of our result is that our convergence and generalization bounds have much better dependence on the network width in comparison to related studies. Consequently, our theory provides a generalization guarantee for less over-parameterized two-layer networks, while most studies require much higher over-parameterization.

研究动机与目标

• 解决当前对二层少过参数化神经网络在分类问题中梯度下降理论理解的不足。
• 用更自然、更弱的可分性假设替代神经正切核的严格正定性条件。
• 在网络宽度依赖性方面，提供更紧致的收敛与泛化边界。
• 证明即使无需高程度过参数化，全局收敛与泛化也是可实现的。
• 首次为通过梯度下降训练的非过参数化二层网络在二分类问题中使用逻辑损失时，建立泛化保证。

提出的方法

• 提出一种神经正切模型，其特征通过网络输出对参数的梯度进行变换得到。
• 在神经正切模型诱导的特征空间中，采用具有足够裕度的可分性假设。
• 利用基于Rademacher复杂度和对称化技术的改进泛化边界，分析梯度下降。
• 通过将损失分解为两部分来推导收敛与泛化边界：一部分对应于裕度较大的索引，另一部分对应于其余部分。
• 通过变量替换和有界性假设控制函数类的复杂度，从而改善对网络宽度的依赖关系。
• 应用压缩论证和Rademacher过程的上确界，以边界泛化误差，实现 $ O(1/ ext{width}^{1/2 - \beta}) $ 的依赖关系。

实验结果

研究问题

• RQ1 在二层ReLU网络中，梯度下降能否在较少过参数化的情况下实现全局收敛与泛化？
• RQ2 神经正切核的正定性条件是否为收敛所必需？是否存在更弱的假设足以保证收敛？
• RQ3 在神经正切特征空间中的可分性假设，与神经正切核正定性条件相比，其理论含义有何不同？
• RQ4 在较弱假设下，能否显著改善泛化边界对网络宽度的依赖关系？
• RQ5 在二层网络中，使用逻辑损失进行梯度下降训练时，实现收敛与泛化的最小过参数化程度是多少？

主要发现

• 论文在神经正切特征空间中引入可分性假设的前提下，建立了具有平滑激活函数的二层ReLU网络梯度下降的全局收敛性。
• 泛化误差边界呈现 $ O(1/ ext{width}^{1/2 - \beta}) $ 的尺度，显著优于以往研究中所需的 $ O(1/ ext{width}) $ 依赖关系。
• 结果表明，可分性假设弱于神经正切核的正定性，因为其仅在小锥面上蕴含正定性，而非整个空间。
• 该理论为少过参数化的网络提供了泛化保证，相较于依赖神经正切核正定性的先前工作，显著降低了对网络宽度的需求。
• 分析表明，对于使用梯度下降训练的二层网络，即使在逻辑损失下，高过参数化也非收敛与泛化的必要条件。
• 本研究是首次在二分类问题中，为使用逻辑损失训练的非过参数化二层网络，建立全局收敛与泛化保证。