[论文解读] Do Deeper Convolutional Networks Perform Better

Eshaan Nichani, Adityanarayanan Radhakrishnan+1 more|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications参考文献 4被引用 7

一句话总结

本文研究了卷积神经网络深度增加对泛化性能的影响，与宽度增加时常见的双下降曲线形成对比。通过在CIFAR-10和ImageNet-32上使用ResNets和全卷积网络进行实验，发现测试误差在超过临界深度后上升，表明深度并不像宽度那样能改善泛化性能。作者将此现象与线性网络中的最小范数解联系起来，为性能退化提供了理论解释。

ABSTRACT

Over-parameterization is a recent topic of much interest in the machine learning community. While over-parameterized neural networks are capable of perfectly fitting (interpolating) training data, these networks often perform well on test data, thereby contradicting classical learning theory. Recent work provided an explanation for this phenomenon by introducing the double descent curve, showing that increasing model capacity past the interpolation threshold leads to a decrease in test error. In line with this, it was recently shown empirically and theoretically that increasing neural network capacity through width leads to double descent. In this work, we analyze the effect of increasing depth on test performance. In contrast to what is observed for increasing width, we demonstrate through a variety of classification experiments on CIFAR10 and ImageNet-32 using ResNets and fully-convolutional networks that test performance worsens beyond a critical depth. We posit an explanation for this phenomenon by drawing intuition from the principle of minimum norm solutions in linear networks.

研究动机与目标

• 研究增加卷积神经网络深度对测试性能的影响，特别是超过插值阈值之后的表现。
• 对比深度与宽度对泛化性能的影响，鉴于宽度的增加会导致测试误差出现双下降现象。
• 利用线性网络中最小范数解的见解，解释为何更深的网络尽管参数量庞大，却仍可能表现不佳。
• 在CIFAR-10和ImageNet-32等标准基准上，通过ResNets和全卷积架构，实证评估深度扩展的效果。

提出的方法

• 在CIFAR-10和ImageNet-32上，对ResNets和全卷积网络在不同深度下的测试准确率进行实证评估。
• 通过测量测试误差随网络深度的变化，分析深度上的双下降现象。
• 借助线性网络中最小范数解的理论直觉，解释观察到的深度增加导致的性能退化。
• 将深度扩展行为与先前已确立的宽度引起的双下降曲线进行比较。
• 通过受控实验，保持其他超参数不变，隔离深度的影响。

实验结果

研究问题

• RQ1 增加网络深度是否能像增加宽度一样提升测试性能？
• RQ2 是否存在一个临界深度，超过该深度后测试误差会上升，从而在深度上表现出某种形式的双下降？
• RQ3 为何更深的网络尽管参数量庞大，却无法良好泛化，而更宽的网络却可以？
• RQ4 线性网络中最小范数解的原理能否解释观察到的深度增加导致的性能退化？

主要发现

• 在ResNets和全卷积网络中，CIFAR-10和ImageNet-32上的测试性能在超过临界深度后均出现恶化。
• 与宽度不同，宽度在超过插值阈值后测试误差持续下降，表现出双下降曲线，而深度并未展现出这种有益行为。
• 性能退化现象在多种架构和数据集上均一致出现，表明这是一种根本性限制。
• 该现象可通过与线性网络中最小范数解的类比来解释，即更深的模型可能收敛到范数更高的解，从而泛化能力较差。