[论文解读] Enhanced Image Classification With a Fast-Learning Shallow Convolutional Neural Network

Mark D. McDonnell, Tony Vladusich|arXiv (Cornell University)|Mar 16, 2015

Machine Learning and ELM参考文献 24被引用 12

一句话总结

该论文提出了一种快速学习的浅层卷积神经网络，在使用生物启发滤波器、随机输入权重、最小二乘回归进行输出训练以及线性分类器的情况下，仅通过一个可训练层，实现了在MNIST（0.37%错误率）和NORB-small（2.2%错误率）上的最先进性能，即使在标准硬件上也能在几分钟内完成训练。

ABSTRACT

We present a neural network architecture and training method designed to enable very rapid training and low implementation complexity. Due to its training speed and very few tunable parameters, the method has strong potential for applications requiring frequent retraining or online training. The approach is characterized by (a) convolutional filters based on biologically inspired visual processing filters, (b) randomly-valued classifier-stage input weights, (c) use of least squares regression to train the classifier output weights in a single batch, and (d) linear classifier-stage output units. We demonstrate the efficacy of the method by applying it to image classification. Our results match existing state-of-the-art results on the MNIST (0.37% error) and NORB-small (2.2% error) image classification databases, but with very fast training times compared to standard deep network approaches. The network's performance on the Google Street View House Number (SVHN) (4% error) database is also competitive with state-of-the art methods.

研究动机与目标

• 开发一种具有极快训练速度和低实现复杂度的神经网络架构，适用于在线或频繁微调的场景。
• 在不依赖深层架构或大量超参数调优的情况下，实现在基准数据集上的具有竞争力的图像分类性能。
• 证明仅含一个可训练层且结合卷积特征提取的网络可达到或超越标准数据集上的最先进结果。
• 探索使用随机未训练输入权重结合最小二乘回归在实现高效且有效分类方面的可行性。

提出的方法

• 网络使用基于生物启发视觉处理机制的卷积滤波器，从输入图像中提取特征。
• 分类器阶段的输入权重随机初始化并保持不变，从而降低训练复杂度和超参数调优需求。
• 输出层权重通过单批次最小二乘回归进行训练，由于目标函数的凸性，可保证获得最优解。
• 分类器阶段采用线性输出单元，简化计算并实现快速收敛。
• 通过池化操作对特征图进行下采样，以降低维度并增强平移不变性。
• 该方法在多个数据集上使用相同的超参数配置，展示了无需针对数据集调优的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 仅含一个可训练层的浅层卷积神经网络是否能在标准图像分类基准上实现最先进性能？
• RQ2 与标准深度学习方法相比，使用随机输入权重和最小二乘回归对分类准确率有何影响？
• RQ3 在大幅减少训练时间的前提下，生物启发滤波器和极简架构复杂度在多大程度上仍能保持高性能？
• RQ4 相同的超参数配置是否可有效应用于MNIST、SVHN和CIFAR-10等多样化数据集而不会导致性能下降？
• RQ5 在使用卷积特征的单层训练策略下，训练速度、模型复杂度与分类准确率之间的权衡如何？

主要发现

• 该方法在MNIST数据集上实现了0.37%的测试错误率，超越了此前报告的最佳结果（未使用数据增强）。
• 在NORB-small数据集上，该方法实现了2.2%的错误率，为迄今文献报道的最佳性能。
• 在SVHN数据集上，该方法实现了4%的错误率，与最先进水平相差约2%，表明具有强大的竞争力。
• 训练时间方面，MNIST在数分钟内完成（例如，99.5%准确率下不到4分钟），CIFAR-10在标准台式机上也少于一小时（M=40000）。
• 该方法对超参数选择具有鲁棒性，相同设置在多个数据集上无需重新调优即可获得具有竞争力的结果。
• 随着隐藏单元数（M）增加至40,000，错误率未出现饱和，表明在更大M值下仍有进一步提升的潜力。