[论文解读] Committees of deep feedforward networks trained with few data

Bogdan Miclut, Thomas Kaester+2 more|arXiv (Cornell University)|Jun 23, 2014

Advanced Neural Network Applications参考文献 8被引用 4

一句话总结

本文提出一种由浅层深度前馈网络组成的委员会，通过完全无监督、逐层方式进行训练，无需反向传播，以提升小样本数据集上的图像分类性能。通过结合多个经过数据增强（镜像、旋转、缩放）训练的网络，并采用投票机制，该方法在 STL-10 数据集上实现了 68.0% 的准确率——超越了先前的最先进结果——且仅使用两层网络和线性 SVM 进行分类。

ABSTRACT

Deep convolutional neural networks are known to give good results on image classification tasks. In this paper we present a method to improve the classification result by combining multiple such networks in a committee. We adopt the STL-10 dataset which has very few training examples and show that our method can achieve results that are better than the state of the art. The networks are trained layer-wise and no backpropagation is used. We also explore the effects of dataset augmentation by mirroring, rotation, and scaling.

研究动机与目标

• 通过以委员会形式组合多个深度前馈网络，提升在小规模标注数据集上的图像分类性能。
• 探究在缺乏训练数据的情况下，是否可通过无监督、逐层训练且无需反向传播的方式，在图像识别任务中取得具有竞争力的结果。
• 评估数据增强（镜像、旋转、缩放）对单个网络及委员会网络性能的影响。
• 确定多个网络输出的集成平均是否能超越单个网络的泛化性能。
• 证明简单的浅层架构结合无监督特征学习，可在 STL-10 等基准数据集上实现最先进性能。

提出的方法

• 通过逐层无监督训练进行特征提取：使用 k-means 聚类在输入特征图中提取的图像块上学习滤波器。
• 每一网络层先对图像块进行预处理（归一化、ZCA 白化），然后与学习到的滤波器进行卷积，再应用绝对值修正，并进行局部对比度归一化。
• 池化操作通过广义范数实现：$ y = \left(\sum_i x_i^\alpha\right)^{1/\alpha} $，其中 $ \alpha = 1 $（平均池化）表现最优。
• 通过随机分组特征图（例如每组 4 个）来连接各层，以降低维度并提升 k-means 聚类过程中的收敛性。
• 在训练过程中通过镜像、旋转和缩放输入图像来应用数据增强，为委员会中的每个网络生成多样化的训练样本。
• 最终分类通过平均所有委员会成员的归一化得分，并选择总分最高的类别完成。

实验结果

研究问题

• RQ1 由无监督、浅层深度前馈网络组成的委员会是否能在小样本图像分类任务中超越单个网络？
• RQ2 当与无监督特征学习结合时，数据增强（镜像、旋转、缩放）是否显著提升性能？
• RQ3 在无反向传播训练的情况下，多个网络之间的投票机制在多大程度上可缓解单个浅层网络的局限性？
• RQ4 在无反向传播的条件下，池化策略与修正方法的选择如何影响最终分类准确率？
• RQ5 能否通过一种简单、非基于反向传播的深度网络架构，在仅使用少量标注数据的情况下实现在 STL-10 数据集上的最先进性能？

主要发现

• 该委员会网络在 STL-10 数据集上实现了 68.0% 的 top-1 准确率，超越了文献 [6] 报告的先前最先进水平 67.4%。
• 仅使用镜像和旋转作为数据增强手段，委员会即实现了 67.39% 的准确率，证明了在无监督设置下增强策略的有效性。
• 表现最佳的单个网络（N2）在使用镜像和旋转增强时达到 64.59% 准确率，而委员会将其提升至 68.0%，表明集成平均能持续带来性能增益。
• 平均池化（$ \alpha = 1 $）在广义池化操作中优于最大池化及其他 $ \alpha $ 值，表明其具有更稳定的特征表示能力。
• ON-OFF 修正（将正负响应分离）在使用镜像增强时达到 64.73% 准确率，表明非线性选择会影响性能，但其影响程度低于数据增强。
• 委员会性能始终优于任一单个网络，且仅在引入低质量网络时性能出现饱和或轻微下降，表明成员的多样性与质量至关重要。