[论文解读] Multi-column Deep Neural Networks for Image Classification

Dan Cireşan, Ueli Meier+1 more|arXiv (Cornell University)|Feb 13, 2012

Advanced Neural Network Applications参考文献 25被引用 64

一句话总结

本文提出多列深度神经网络（MCDNNs），一种新颖的架构，通过结合多个深度卷积神经网络（DNNs）与胜者为王神经元及最小感受野，实现在图像分类基准上的最先进性能。通过在不同预处理输入上独立训练多个DNN列，并对预测结果进行平均，该方法将错误率降低了30–40%，在MNIST上达到人类水平表现，并在交通标志识别任务上超越人类表现。

ABSTRACT

Traditional methods of computer vision and machine learning cannot match human performance on tasks such as the recognition of handwritten digits or traffic signs. Our biologically plausible deep artificial neural network architectures can. Small (often minimal) receptive fields of convolutional winner-take-all neurons yield large network depth, resulting in roughly as many sparsely connected neural layers as found in mammals between retina and visual cortex. Only winner neurons are trained. Several deep neural columns become experts on inputs preprocessed in different ways; their predictions are averaged. Graphics cards allow for fast training. On the very competitive MNIST handwriting benchmark, our method is the first to achieve near-human performance. On a traffic sign recognition benchmark it outperforms humans by a factor of two. We also improve the state-of-the-art on a plethora of common image classification benchmarks.

研究动机与目标

• 为克服传统计算机视觉与机器学习方法在图像识别任务中难以达到人类水平表现的局限性。
• 开发一种深度学习架构，实现高精度，且无需无监督预训练或复杂初始化。
• 通过结合在不同输入预处理变体上训练的多个DNN，降低图像分类中的错误率。
• 证明在GPU上进行完全监督、端到端的训练可超越先前方法，即使不使用无监督预训练。
• 在MNIST、交通标志与NORB等广泛使用的基准上实现人类水平或超越人类水平的表现。

提出的方法

• 该架构采用深度、稀疏连接的卷积神经网络，结合2D胜者为王神经元与重叠、共享的感受野，受Hubel和Wiesel的视觉皮层模型启发。
• 最小感受野（如2×2或3×3）可最大化网络深度，使架构的层数与灵长类视觉通路的层数大致相当。
• 反向传播过程中仅更新胜者神经元，降低计算负载，并模拟生物上合理的能效。
• 多个DNN列独立训练，每列处理输入的不同预处理变体（如旋转、缩放或平移的图像），以提升鲁棒性。
• 最终预测通过平均所有列的输出获得，实现类似集成的性能提升，而无需完整模型平均。
• 训练为完全在线进行，且在GPU上执行，实现快速收敛——相比CPU训练快达100倍，使大规模训练成为可能。

实验结果

研究问题

• RQ1 通过在线反向传播训练的深层、完全监督DNN是否可在无无监督预训练的情况下，实现在图像分类基准上的接近人类水平表现？
• RQ2 将多个DNN列组合，每列处理不同预处理的输入，对分类准确率与泛化能力有何影响？
• RQ3 最小感受野与胜者为王机制在多大程度上可提升图像识别任务中的网络深度与性能？
• RQ4 所提出的MCDNN架构是否可在MNIST、CIFAR10、NORB与交通标志等多样化基准上超越现有最先进方法？
• RQ5 输入预处理的多样性对错误率降低及达到高精度所需列数的影响如何？

主要发现

• MCDNN在MNIST基准上实现了0.23%的错误率，超越此前最先进水平（0.39%），接近人类表现。
• 在交通标志识别基准上，MCDNN实现了0.54%的错误率，表现优于人类两倍。
• 在NORB（抖动-杂乱）数据集上，MCDNN在使用全部10个训练折的条件下，将错误率降低至2.70%，优于此前最先进水平5.00%。
• 该方法在多个基准上将错误率降低了30–80%，包括MNIST提升41%与交通标志提升72%。
• 即使仅使用两折训练数据，MCDNN在NORB上也实现了3.57%的错误率，表明其在数据有限时仍具鲁棒性。
• NORB数据集中84%的错误与正确的第二预测相关，表明模型的不确定性通常较低，混淆模式可预测。