[论文解读] Discriminative Unsupervised Feature Learning with Convolutional Neural Networks

Alexey Dosovitskiy, Jost Tobias Springenberg+2 more|arXiv (Cornell University)|Jun 26, 2014

Advanced Neural Network Applications参考文献 32被引用 648

一句话总结

本文提出了一种用于卷积神经网络的新型无监督特征学习方法，通过将经过变换的图像块视为合成类别，在无标签数据上进行训练。通过利用数据增强来区分这些合成类别，模型学习到强大的视觉表征，在 STL-10、CIFAR-10 和 Caltech-101 上的表现达到或超过当前最先进水平，且在预训练阶段无需任何标注样本。

ABSTRACT

Current methods for training convolutional neural networks depend on large amounts of labeled samples for supervised training. In this paper we present an approach for training a convolutional neural network using only unlabeled data. We train the network to discriminate between a set of surrogate classes. Each surrogate class is formed by applying a variety of transformations to a randomly sampled ’seed ’ image patch. We find that this simple feature learning algorithm is surprisingly successful when applied to visual object recognition. The feature representation learned by our algorithm achieves classification results matching or outperforming the current state-of-the-art for unsupervised learning on several popular datasets (STL-10, CIFAR-10, Caltech-101). 1

研究动机与目标

• 解决卷积神经网络在有效预训练中对大规模标注数据集的依赖问题。
• 开发一种利用数据增强创建合成类别的判别式无监督学习方法。
• 评估该方法是否能在不使用任何标注数据的情况下学习到具有竞争力的视觉表征。
• 在标准物体识别数据集上，将学习到的特征与现有最先进无监督方法进行基准测试。

提出的方法

• 该方法通过在无标签数据中随机采样图像块并应用随机变换（例如旋转、裁剪、色彩抖动）来构建合成类别。
• 每个变换后的图像块被视为一个独立类别，网络被训练以分类给定图像块所应用的变换类型。
• 网络使用标准卷积架构，并采用对比损失目标，以最大化同一原始图像块经不同变换后的区分度。
• 最终的特征表示从训练后网络的倒数第二层提取，并用于下游分类任务。
• 该方法端到端可微，且在预训练阶段无需任何标注数据。
• 通过在学习到的特征上训练线性分类器头，评估该方法在标准基准上的迁移学习性能。

实验结果

研究问题

• RQ1 卷积神经网络是否能仅通过无标签数据和判别目标学习到有意义的视觉特征？
• RQ2 数据增强在创建引导特征学习的合成类别方面有多有效？
• RQ3 该无监督方法是否能实现与现有最先进无监督学习方法相当或更优的性能？
• RQ4 学习到的特征在标准数据集上的下游分类任务中泛化能力如何？

主要发现

• 所提方法在 STL-10 上实现的分类准确率与当前最先进无监督预训练方法持平或更优。
• 在 CIFAR-10 上，学习到的特征表现与或优于先前无监督方法，即使在预训练阶段未使用任何标注数据。
• 该模型在 Caltech-101 上泛化良好，表明所学表征具有强大的可迁移性。
• 利用数据增强形成合成类别显著提升了特征质量，优于缺乏此类对比监督的基线自监督方法。
• 该方法在多种数据集上均表现出鲁棒性和有效性，表明该方法具有广泛适用性。
• 结果证实，通过数据增强形成的合成类别进行判别训练，是对比或预测式自监督学习的有力替代方案。