[论文解读] Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks

Alexey Dosovitskiy, Philipp Fischer+3 more|arXiv (Cornell University)|Jun 26, 2014

Advanced Image and Video Retrieval Techniques参考文献 35被引用 31

一句话总结

该论文提出Exemplar-CNN，一种仅使用无标签数据进行无监督特征学习的方法，通过训练卷积神经网络来区分从随机采样图像块（样本）中生成的变换版本（实例）之间的差异。该方法学习到对常见图像变换具有鲁棒性且通用的特征，在STL-10、CIFAR-10、Caltech-101和Caltech-256数据集上实现了无监督图像分类的最先进性能，并在几何匹配任务中优于SIFT方法。

ABSTRACT

Deep convolutional networks have proven to be very successful in learning task specific features that allow for unprecedented performance on various computer vision tasks. Training of such networks follows mostly the supervised learning paradigm, where sufficiently many input-output pairs are required for training. Acquisition of large training sets is one of the key challenges, when approaching a new task. In this paper, we aim for generic feature learning and present an approach for training a convolutional network using only unlabeled data. To this end, we train the network to discriminate between a set of surrogate classes. Each surrogate class is formed by applying a variety of transformations to a randomly sampled 'seed' image patch. In contrast to supervised network training, the resulting feature representation is not class specific. It rather provides robustness to the transformations that have been applied during training. This generic feature representation allows for classification results that outperform the state of the art for unsupervised learning on several popular datasets (STL-10, CIFAR-10, Caltech-101, Caltech-256). While such generic features cannot compete with class specific features from supervised training on a classification task, we show that they are advantageous on geometric matching problems, where they also outperform the SIFT descriptor.

研究动机与目标

• 解决计算机视觉中监督CNN训练所需大规模标注数据集的挑战。
• 开发一种不依赖标注数据但能生成判别性强且鲁棒的特征的通用特征学习方法。
• 通过单个图像块的数据增强构建代理类别，改进无监督特征学习。
• 实现特征在分类和几何匹配等多样化任务中的可迁移性，超越特定类别的学习。
• 证明在某些任务（如描述符匹配）中，无监督特征可超越监督基线，甚至优于SIFT。

提出的方法

• 通过在单个随机采样图像块（即“种子”）上应用随机变换（如旋转、缩放、色彩抖动）来构建代理类别。
• 使用交叉熵损失训练CNN将每个变换后的图像块分类为其对应的代理类别。
• 采用标准CNN架构，包含ReLU激活函数、最大池化层，以及在最后全连接层应用Dropout。
• 在训练过程中应用数据增强：每个图像块被多次变换，形成包含多个变体的单一类别。
• 利用代理任务的判别性，学习对所应用变换具有鲁棒性的特征。
• 在训练后应用聚类方法，通过SVM激活分数对相似图像块进行分组，以优化特征表示。

实验结果

研究问题

• RQ1 CNN能否基于数据增强生成的代理分类任务，从无标签数据中学习到通用且鲁棒的特征？
• RQ2 基于样本的无监督特征学习方法在标准基准上的性能，与现有无监督和监督基线相比如何？
• RQ3 所学习的特征在多大程度上对常见图像变换保持不变？这种不变性如何进行定量测量？
• RQ4 所学习的特征能否有效泛化到几何匹配任务中？其性能是否优于手工设计的描述符（如SIFT）？
• RQ5 在代理类别上采用判别性训练目标是否能带来比自编码器或重建方法更优的特征可迁移性？

主要发现

• Exemplar-CNN在STL-10、CIFAR-10、Caltech-101和Caltech-256数据集上的无监督图像分类任务中达到最先进性能，优于所有先前的无监督方法。
• 在STL-10数据集中，该方法仅使用无标签数据集即实现了78.3%的top-1分类准确率，超越了所有先前的无监督方法。
• 所学习的特征在几何匹配任务中优于SIFT描述符，表现出优异的特征对应与匹配准确率。
• 与ImageNet中学习到的类别特定特征相比，Exemplar-CNN学习到的特征在迁移至非分类任务（如匹配）时泛化能力更强。
• 该方法表明，通过代理类别进行判别性无监督训练，相比生成式或自编码器基方法，能产生更鲁棒且更具可迁移性的特征。
• 特征向量的归一化以及在不变性评估中对曲线的归一化，确保了不同特征之间的公平比较，揭示出该方法学习到的特征对变换具有渐变响应，表明其具备强大的不变性。