[论文解读] A Recipe for Global Convergence Guarantee in Deep Neural Networks

Kenji Kawaguchi, Qingyun Sun|arXiv (Cornell University)|Apr 12, 2021

Stochastic Gradient Optimization Techniques参考文献 46被引用 4

一句话总结

本文提出了一种两阶段训练算法，通过引入可验证的数据依赖和结构依赖的“表达能力条件”，在神经正切核（NTK）以外的实用深度神经网络中保证全局收敛。该方法在满足该条件下确保所有层收敛至全局最小值，理论验证针对浅宽全连接网络，数值验证针对在标准数据集上使用批量归一化的深层ResNets，同时保持与标准SGD相当的泛化性能。

ABSTRACT

Existing global convergence guarantees of (stochastic) gradient descent do not apply to practical deep networks in the practical regime of deep learning beyond the neural tangent kernel (NTK) regime. This paper proposes an algorithm, which is ensured to have global convergence guarantees in the practical regime beyond the NTK regime, under a verifiable condition called the expressivity condition. The expressivity condition is defined to be both data-dependent and architecture-dependent, which is the key property that makes our results applicable for practical settings beyond the NTK regime. On the one hand, the expressivity condition is theoretically proven to hold data-independently for fully-connected deep neural networks with narrow hidden layers and a single wide layer. On the other hand, the expressivity condition is numerically shown to hold data-dependently for deep (convolutional) ResNet with batch normalization with various standard image datasets. We also show that the proposed algorithm has generalization performances comparable with those of the heuristic algorithm, with the same hyper-parameters and total number of iterations. Therefore, the proposed algorithm can be viewed as a step towards providing theoretical guarantees for deep learning in the practical regime.

研究动机与目标

• 弥合理论全局收敛保证与实际深度学习之间的差距，因为现有方法在NTK范围之外失效。
• 开发一种训练算法，使深层网络能够进行表征学习，同时确保所有层的全局收敛。
• 定义并验证一个既依赖数据又依赖结构的条件——表达能力条件，使其适用于真实世界网络。
• 证明所提出方法在使用相同超参数和训练迭代次数时，保持与标准SGD相当的泛化性能。

提出的方法

• 所提算法将任意一阶训练方法改造成两阶段训练过程，以确保全局收敛。
• 关键创新在于引入了表达能力条件，该条件既依赖数据又依赖结构，当其满足时可确保全局收敛。
• 该方法依赖于理论分析，表明若表达能力条件成立，则梯度下降对所有网络层均全局收敛至全局最小值。
• 为理论验证，证明了表达能力条件在具有窄隐藏层和一个宽输出层的全连接网络中成立。
• 为实证验证，数值验证了在CIFAR-10和ImageNet等标准图像数据集上的深层ResNets（带批量归一化）中该条件成立。
• 该算法通过使用相同超参数和总训练迭代次数，保持了与标准SGD相当的泛化性能。

实验结果

研究问题

• RQ1 能否在NTK范围之外的实际深度神经网络中保证全局收敛？
• RQ2 何种条件可实现实际范围内的全局收敛，且该条件是否可验证于真实架构？
• RQ3 所提方法是否保持与标准训练过程相当的泛化性能？
• RQ4 表达能力条件能否在特定宽度配置的全连接网络中被理论证明成立？
• RQ5 表达能力条件能否在标准数据集上的深层卷积网络（带批量归一化）中被数值验证？

主要发现

• 表达能力条件在具有窄隐藏层和单个宽输出层的全连接深层神经网络中被理论证明成立，从而确保全局收敛。
• 表达能力条件在CIFAR-10、CIFAR-100和ImageNet数据集上的深层ResNets（带批量归一化）中被数值验证成立。
• 当表达能力条件满足时，两阶段训练算法在标准损失和梯度Lipschitz连续性假设下，对所有层实现全局收敛。
• 实证结果表明，两阶段算法的泛化性能与使用相同超参数和总迭代次数的标准SGD相当。
• 该方法成功实现了深层网络中的表征学习，而以往基于NTK的方法则停留在懒惰训练范围。
• 理论分析表明，若雅可比矩阵的秩等于输出单元数量，且表达能力条件成立，则可保证全局收敛。