[论文解读] High-Performance Neural Networks for Visual Object Classification

Dan Cireşan, Ueli Meier+3 more|arXiv (Cornell University)|Feb 1, 2011

Advanced Neural Network Applications参考文献 22被引用 220

一句话总结

本文提出了一种高性能、完全可配置的GPU实现，用于视觉物体分类的深度卷积神经网络（CNN）。通过在GPU上进行端到端的反向传播训练，作者在MNIST上实现了0.35%的最先进错误率，在NORB上实现了2.53%，在CIFAR10上实现了19.51%，表明使用在线随机梯度下降训练的深层稀疏连接CNN优于浅层模型，且无需无监督预训练。

ABSTRACT

We present a fast, fully parameterizable GPU implementation of Convolutional Neural Network variants. Our feature extractors are neither carefully designed nor pre-wired, but rather learned in a supervised way. Our deep hierarchical architectures achieve the best published results on benchmarks for object classification (NORB, CIFAR10) and handwritten digit recognition (MNIST), with error rates of 2.53%, 19.51%, 0.35%, respectively. Deep nets trained by simple back-propagation perform better than more shallow ones. Learning is surprisingly rapid. NORB is completely trained within five epochs. Test error rates on MNIST drop to 2.42%, 0.97% and 0.48% after 1, 3 and 17 epochs, respectively.

研究动机与目标

• 开发一种快速、灵活且完全可配置的基于GPU的深度卷积神经网络实现，用于视觉物体分类。
• 研究网络深度、宽度以及架构组件（例如最大池化、预处理）对标准基准测试中分类性能的影响。
• 证明通过简单反向传播训练的深层CNN可优于浅层架构，且无需无监督预训练。
• 通过显著缩短相比CPU方法的训练时间，实现对大规模超参数空间的快速探索。

提出的方法

• 该方法采用完全可配置的CNN架构，交替使用卷积层和最大池化层，支持对卷积核大小、跳过因子和特征图数量的灵活配置。
• 每个卷积层在感受野上共享权重，并应用具有指定卷积核大小和步长的滤波器，其计算公式为：$ M^{n}_{x} = \frac{M^{n-1}_{x} - K^{n}_{x}}{S^{n}_{x} + 1} + 1 $。
• 最大池化层通过在非重叠的$ K_{x} \times K_{y} $区域中取最大激活值来下采样特征图，从而增强位置不变性。
• 网络使用在线随机梯度下降进行端到端训练，学习率按每轮训练乘以0.993进行衰减。
• 可选的图像处理层应用固定滤波器（如Sobel、Scharr或对比度提取滤波器）以增强输入表示。
• 该实现针对GPU执行进行了优化，相比CPU优化版本实现了10–60倍的加速，从而能够快速训练大型网络。

实验结果

研究问题

• RQ1 通过端到端反向传播训练深层全连接CNN是否在标准基准测试中优于浅层网络？
• RQ2 架构选择（如最大池化、卷积核大小、特征图数量）如何影响分类准确率和泛化能力？
• RQ3 通过图像平移进行数据增强是否能提升CNN的泛化能力，即使网络本身具有平移不变性？
• RQ4 使用固定滤波器（如边缘检测器）进行预处理是否能提升性能，还是反而有害于原始输入？
• RQ5 GPU加速在多大程度上实现了对CNN设计中大规模超参数空间的高效探索？

主要发现

• 所提出的GPU加速CNN在MNIST基准测试中实现了0.35%的测试错误率，创下当时新的最先进水平。
• 在NORB数据集上，网络实现了2.53%的测试错误率，优于以往方法。
• 对于CIFAR10，最佳网络实现了19.51%的测试错误率，超越了此前最先进结果的20.40%和25.50%。
• 将每层的特征图数量从100增加到300时，错误率最低（19.51%），进一步增加到400张特征图则无进一步改善。
• 通过图像平移进行数据增强，将CIFAR10的错误率从28.87%（无增强）降低至20.26%，证明了数据增强的有效性。
• 对于大型网络，GPU实现比CPU优化版本快逾60倍，将训练时间从数天缩短至数小时。