[论文解读] Are ResNets Provably Better than Linear Predictors?

Ohad Shamir|arXiv (Cornell University)|Apr 18, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用 30

一句话总结

该论文在对架构、数据和损失函数的假设最少的前提下，证明了任意深度和非线性激活的残差网络（ResNets）均不存在比线性预测器（1层网络）性能更差的局部极小值。此外，通过引入一个微小的架构修改，论文进一步表明随机梯度下降（SGD）能够收敛至不劣于任何线性预测器的解，为ResNets的实证成功提供了理论依据。

ABSTRACT

A residual network (or ResNet) is a standard deep neural net architecture, with state-of-the-art performance across numerous applications. The main premise of ResNets is that they allow the training of each layer to focus on fitting just the residual of the previous layer's output and the target output. Thus, we should expect that the trained network is no worse than what we can obtain if we remove the residual layers and train a shallower network instead. However, due to the non-convexity of the optimization problem, it is not at all clear that ResNets indeed achieve this behavior, rather than getting stuck at some arbitrarily poor local minimum. In this paper, we rigorously prove that arbitrarily deep, nonlinear residual units indeed exhibit this behavior, in the sense that the optimization landscape contains no local minima with value above what can be obtained with a linear predictor (namely a 1-layer network). Notably, we show this under minimal or no assumptions on the precise network architecture, data distribution, or loss function used. We also provide a quantitative analysis of approximate stationary points for this problem. Finally, we show that with a certain tweak to the architecture, training the network with standard stochastic gradient descent achieves an objective value close or better than any linear predictor.

研究动机与目标

• 从理论上证明ResNets的核心前提：增加深度不会降低性能。
• 分析训练深层残差网络是否会陷入劣于浅层线性预测器的局部极小值。
• 建立梯度优化方法在ResNets中避免次优解的条件。
• 弥合ResNet优化的实证成功与理论理解之间的差距。

提出的方法

• 证明对于任意具有非线性残差单元和线性输出的残差网络，所有局部极小值的损失值均不劣于最优线性预测器的损失值。
• 通过优化景观的几何分析，表明在最优线性预测器损失值之上的局部极小值不存在。
• 将问题约化为在线凸优化以分析SGD的收敛性，假设进行了一项微小的架构修改。
• 推导出一个界，表明SGD的平均训练损失与最优线性预测器损失的差距在O(1/√T)以内。
• 利用Azuma不等式，建立优化误差的高概率集中性。
• 分析驻点，表明ε-接近驻点的点，其损失值与任意线性预测器的性能差距在poly(ε)以内。

实验结果

研究问题

• RQ1 残差网络是否能避免劣于线性预测器性能的局部极小值？
• RQ2 ResNets的标准SGD训练能否保证性能至少不劣于线性预测器？
• RQ3 在何种条件下，ResNet的优化景观中不存在性能较差的局部极小值？
• RQ4 ResNet中近似驻点的性能与线性预测器相比如何？
• RQ5 一个简单的架构修改能否确保SGD收敛至与线性预测器相当的解？

主要发现

• 深层残差网络的优化景观中，不存在损失值劣于最优线性预测器的局部极小值。
• 在参数空间中，任何ε-接近驻点的点，其损失值与最优线性预测器的差距在poly(ε)以内。
• 通过一项微小的架构修改，标准SGD在高概率下可达到不劣于任何线性预测器的损失值。
• SGD的收敛速率被限制在O((bl + r√log(1/δ))/√T)以内，其中b、l、r分别为范数、利普希茨常数和损失的有界值。
• 该结果在极低假设下成立：对数据分布、网络架构或损失函数无额外限制，仅需光滑性和输出空间的凸性。
• 理论保证是确定性的，且不依赖于数据采样过程。