[论文解读] Increasing Depth Leads to U-Shaped Test Risk in Over-parameterized Convolutional Networks

Eshaan Nichani, Adityanarayanan Radhakrishnan+1 more|arXiv (Cornell University)|Oct 19, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 5

一句话总结

本文表明，在过参数化的卷积神经网络中，随着深度增加，测试风险呈现U形曲线——先减小后增大，这与宽度增加时呈现的单调递减趋势相反。通过基于线性卷积神经正切核（CNTK）的新型线性回归框架，作者证明了在中间深度处，深度相关的特征变换与真实预测方向最优对齐时，测试风险最小化。

ABSTRACT

Recent works have demonstrated that increasing model capacity through width in over-parameterized neural networks leads to a decrease in test risk. For neural networks, however, model capacity can also be increased through depth, yet understanding the impact of increasing depth on test risk remains an open question. In this work, we demonstrate that the test risk of over-parameterized convolutional networks is a U-shaped curve (i.e. monotonically decreasing, then increasing) with increasing depth. We first provide empirical evidence for this phenomenon via image classification experiments using both ResNets and the convolutional neural tangent kernel (CNTK). We then present a novel linear regression framework for characterizing the impact of depth on test risk, and show that increasing depth leads to a U-shaped test risk for the linear CNTK. In particular, we prove that the linear CNTK corresponds to a depth-dependent linear transformation on the original space and characterize properties of this transformation. We then analyze over-parameterized linear regression under arbitrary linear transformations and, in simplified settings, provably identify the depths which minimize each of the bias and variance terms of the test risk.

研究动机与目标

• 研究在过参数化卷积神经网络中，增加深度对测试风险的影响，与先前关于宽度缩放的研究形成对比。
• 解决在插值区间中，深度是否增加或减少泛化误差的开放性问题。
• 开发一种理论框架，利用具有深度相关核的线性回归分析深度影响。
• 将测试风险的偏差与方差分量表征为过参数化模型中深度的函数。
• 通过在ResNet上使用CIFAR10和MNIST的实验，利用线性CNTK对U形测试风险曲线进行经验验证。

提出的方法

• 提出一种基于线性卷积神经正切核（CNTK）的线性回归框架，用于建模深度对测试风险的影响。
• 通过递归公式推导出与深度相关的特征变换矩阵 $\Theta_D$，并证明 $K(x,x') = x^T \Theta_D x'$。
• 对不同网络架构表征 $\Theta_D$，将深度与输入特征的显式线性变换联系起来。
• 对具有核 $K(x,x') = x^T \Theta x'$ 的线性回归执行偏差-方差分解，识别最小化偏差与方差的条件。
• 证明当 $\Theta = \Sigma^{-1}$（数据协方差矩阵的逆）时，方差最小化；当 $\Theta$ 与真实预测器 $\beta$ 对齐时，偏差最小化。
• 通过在MNIST和CIFAR10上的实验验证理论预测，测量测试损失以及 $\Theta_D$ 与 $\beta$ 之间的对齐程度。

实验结果

研究问题

• RQ1 在过参数化的CNN中，随着深度增加，测试风险是否像宽度增加时那样单调下降？
• RQ2 在过参数化的卷积神经网络中，测试风险作为深度的函数，其函数形式是什么？
• RQ3 在具有深度相关核的线性回归模型中，测试风险的偏差与方差分量如何随深度变化？
• RQ4 在何种深度下测试风险最小化？最优深度与特征变换 $\Theta_D$ 和真实预测方向之间对齐的关系是什么？
• RQ5 线性CNTK框架能否解释在深度网络中经验观察到的U形测试风险曲线？

主要发现

• 在CIFAR10上使用ResNet和无限宽度CNTK的实验结果表明，当宽度保持不变而深度增加时，测试风险呈现U形曲线。
• 测试风险在中间深度处最小化，而非在最深的网络中，这与“更深的模型总是泛化更好”的假设相矛盾。
• 在使用线性CNTK的线性回归中，当 $\Theta_D = \Sigma^{-1}$（数据协方差矩阵的逆）时，方差最小化。
• 当 $\Theta_D$ 与真实预测方向 $\beta$ 的对齐程度最高时，偏差最小化，这一程度通过与 $\beta$ 正交的谱分量比例来量化。
• 在MNIST 0/1数字分类任务中，测试损失呈现U形曲线，且最小损失出现在 $\Theta_D$ 最接近 $\beta$ 方向的深度处。
• U形行为的产生原因是：在极端深度下，偏差和方差均未最小化；相反，最优中间深度平衡了这两个分量。