[论文解读] Are deep ResNets provably better than linear predictors?

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Neural Network Applications参考文献 32被引用 5

一句话总结

该论文在几何条件成立的前提下，证明了深度残差网络（ResNet）优化景观中的任意临界点，要么至少与最优线性预测器一样好，要么其 Hessian 矩阵具有严格负的特征值，表明其优化特性更优。此外，论文在接近恒等映射的区域内建立了与网络规模无关的风险和 Rademacher 复杂度上界，证明在此区域内深度不会损害泛化性能。

ABSTRACT

Recent results in the literature indicate that a residual network (ResNet) composed of a single residual block outperforms linear predictors, in the sense that all local minima in its optimization landscape are at least as good as the best linear predictor. However, these results are limited to a single residual block (i.e., shallow ResNets), instead of the deep ResNets composed of multiple residual blocks. We take a step towards extending this result to deep ResNets. We start by two motivating examples. First, we show that there exist datasets for which all local minima of a fully-connected ReLU network are no better than the best linear predictor, whereas a ResNet has strictly better local minima. Second, we show that even at the global minimum, the representation obtained from the residual block outputs of a 2-block ResNet do not necessarily improve monotonically over subsequent blocks, which highlights a fundamental difficulty in analyzing deep ResNets. Our main theorem on deep ResNets shows under simple geometric conditions that, any critical point in the optimization landscape is either (i) at least as good as the best linear predictor; or (ii) the Hessian at this critical point has a strictly negative eigenvalue. Notably, our theorem shows that a chain of multiple skip-connections can improve the optimization landscape, whereas existing results study direct skip-connections to the last hidden layer or output layer. Finally, we complement our results by showing benign properties of the "near-identity regions" of deep ResNets, showing depth-independent upper bounds for the risk attained at critical points as well as the Rademacher complexity.

研究动机与目标

• 研究深度残差网络是否在优化和泛化方面可被严格证明优于线性预测器。
• 将先前针对单残差块 ResNet 的结果扩展至具有多个残差块的深层架构。
• 分析深度残差网络中临界点的结构，并判断其是否能避免陷入糟糕的局部极小值。
• 在深度残差网络的接近恒等映射区域建立良性性质（如有界风险和 Rademacher 复杂度）。
• 证明残差连接链的结构可使优化景观优于直接连接到输出层的残差连接。

提出的方法

• 提出一种对网络架构的几何条件，以确保任意临界点要么与最优线性预测器一样好，要么其 Hessian 矩阵具有严格负的特征值。
• 采用“剥离”技术，通过残差结构递归地界定了深度残差网络的 Rademacher 复杂度。
• 分析接近恒等映射区域中临界点的风险，证明在参数约束下，其上界与深度无关。
• 考虑一种特定的 ResNet 架构，其 ReLU 激活函数和残差块形式为 $ x \mapsto x + \mathbf{V}_l \sigma(\mathbf{U}_l x) $。
• 运用矩阵分析和优化理论工具，研究临界点处的 Hessian 矩阵与曲率。
• 采用 Rademacher 复杂度来量化泛化性能，表明当 $ \|\mathbf{V}_l\|_F, \|\mathbf{U}_l\|_F \leq O(1/\sqrt{L}) $ 时，上界保持与规模无关。

实验结果

研究问题

• RQ1 单残差块 ResNet 相对于线性预测器的可证明优越性，能否推广到具有多个残差块的深层 ResNet？
• RQ2 在深层 ResNet 中，残差连接链是否能改善优化景观，超越直接连接到输出层的残差连接？
• RQ3 在残差更新较小的接近恒等映射区域，深层 ResNet 的泛化特性如何？
• RQ4 在何种条件下，深层 ResNet 临界点处的 Hessian 矩阵可保证具有负特征值，从而表明其非局部极小值行为？
• RQ5 能否在接近恒等映射区域为深层 ResNet 建立与规模无关的风险和 Rademacher 复杂度上界？

主要发现

• 在较弱的几何条件下，深度 ResNet 优化景观中的任意临界点，要么至少与最优线性预测器一样好，要么其 Hessian 矩阵具有严格负的特征值。
• 深度 ResNet 的经验 Rademacher 复杂度被界于 $ \frac{B \prod_{l=1}^{L}(1 + 2M_l^2)}{\sqrt{n}} $，当 $ M_l = O(1/\sqrt{L}) $ 时，该界变为与规模无关。
• 在接近恒等映射区域，任意临界点的风险均与网络深度无关，表明泛化性能稳定。
• 分析表明，多个残差连接的链式结构可改善优化景观，而此前研究仅关注直接连接到输出层的情况。
• 即使在全局最小值处，残差模块的表示也未必在各层单调改善，凸显了深度 ResNet 分析的复杂性。
• 结果表明，即使随着深度增加，深度 ResNet 在接近恒等映射区域仍能保持良性优化与泛化特性。