[论文解读] Identity Matters in Deep Learning

Moritz Hardt, Tengyu Ma|arXiv (Cornell University)|Nov 14, 2016

Adversarial Robustness in Machine Learning被引用 76

一句话总结

本文证明，身份参数化——即当权重为零时，残差块可表示恒等函数——能显著提升深度学习中的优化效率与模型表达能力。作者证明了深度线性残差网络不存在不良局部极小值，且在参数量充足时，基于ReLU的残差网络可对有限数据集上的任意函数实现通用表达，从而在CIFAR与ImageNet数据集上，无需批归一化或Dropout，即可在全卷积架构中实现最先进性能。

ABSTRACT

An emerging design principle in deep learning is that each layer of a deep artificial neural network should be able to easily express the identity transformation. This idea not only motivated various normalization techniques, such as \emph{batch normalization}, but was also key to the immense success of \emph{residual networks}. In this work, we put the principle of \emph{identity parameterization} on a more solid theoretical footing alongside further empirical progress. We first give a strikingly simple proof that arbitrarily deep linear residual networks have no spurious local optima. The same result for linear feed-forward networks in their standard parameterization is substantially more delicate. Second, we show that residual networks with ReLu activations have universal finite-sample expressivity in the sense that the network can represent any function of its sample provided that the model has more parameters than the sample size. Directly inspired by our theory, we experiment with a radically simple residual architecture consisting of only residual convolutional layers and ReLu activations, but no batch normalization, dropout, or max pool. Our model improves significantly on previous all-convolutional networks on the CIFAR10, CIFAR100, and ImageNet classification benchmarks.

研究动机与目标

• 从理论上证明残差网络中身份参数化设计原则的合理性。
• 证明当模型容量超过样本数量时，带有ReLU激活函数的残差网络可对有限数据集上的任意函数实现通用表达。
• 展示无需批归一化或Dropout的简单全卷积残差网络可实现最先进性能。
• 通过优化与表达能力保证，建立理论与实践之间的桥梁，推导出架构设计原则。
• 通过减少对批量归一化、Dropout等正则化技巧的依赖，简化深度学习架构。

提出的方法

• 通过证明当权重矩阵的谱范数为 $O(1/\ell)$ 时，梯度仅在全局最优解处消失，从而证明深度线性残差网络不存在不良局部极小值。
• 采用形式为 $(I + A_\ell)\cdots(I + A_1)$ 的因子化参数化方式，使权重为零时可实现恒等映射。
• 通过证明残差网络可在 $O(n\log n + r^2)$ 个参数下表示 $n$ 个样本上的任意函数，构建基于ReLU的残差网络在有限样本下的通用表达能力证明。
• 设计仅使用残差卷积和ReLU激活的最小全卷积架构，不包含批归一化、Dropout或池化层。
• 使用标准优化方法（动量SGD）配合数据增强进行训练，仅依赖深度与跳跃连接实现性能。
• 在CIFAR-10、CIFAR-100和ImageNet基准上评估模型，与先前的全卷积及残差架构进行比较。

实验结果

研究问题

• RQ1 残差网络中的身份参数化能否消除深度线性网络中的不良局部极小值？
• RQ2 在模型容量充足时，基于ReLU的残差网络能否对有限数据集上的任意函数实现通用表达？
• RQ3 一种不包含批归一化或Dropout的最小全卷积架构能否在图像分类基准上实现最先进性能？
• RQ4 身份参数化网络中优化障碍的缺失是否能转化为更好的泛化能力与训练稳定性？
• RQ5 身份参数化的理论优势是否能在仅使用简单、清晰架构的实际应用中得以实现？

主要发现

• 深度线性残差网络不存在不良局部极小值：当所有权重矩阵的谱范数为 $O(1/\ell)$ 时，梯度仅在全局最优解处消失，确保收敛至最优解。
• 对于任意行列式 $\det(R) > 0$ 的线性变换 $R$，在残差参数化中存在全局最优解，且每个 $\|A_i\| \leq O(1/\ell)$，表明在大深度下存在小范数解。
• 基于ReLU的残差网络具备通用有限样本表达能力：可在 $O(n\log n + r^2)$ 个参数下表示 $n$ 个样本上的任意函数，其中 $r$ 为类别数。
• 一个不使用批归一化或Dropout的全卷积残差模型在CIFAR-10上达到 $6.38\%$ 的top-1错误率，在CIFAR-100上达到 $24.64\%$，优于先前的全卷积模型。
• 在ImageNet上，相同架构达到 $35.29\%$ 的top-1错误率，显著优于先前的全卷积模型，且尽管存在欠拟合现象，仍具备竞争力，表明通过超参数调优仍有进一步提升空间。
• 该模型在CIFAR-10上虽有1350万个参数，但泛化能力良好，表明身份参数化可在无需显式正则化的情况下支持泛化。