[论文解读] AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation

Mingxiang Chen, Zhanguo Chang+5 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用 7

一句话总结

AugNet 提出了一种端到端的无监督视觉表征学习方法，通过数据增强在无需标注数据的情况下学习有意义的图像特征。通过强制同一图像的增强视图的嵌入表示彼此接近，同时使不同图像的嵌入表示相互远离，该方法在无监督图像聚类和图像检索任务中取得了最先进性能，在 Pokémon、动漫插图和人物素描等分布外数据集上甚至超越了有监督基线方法。

ABSTRACT

Most of the achievements in artificial intelligence so far were accomplished by supervised learning which requires numerous annotated training data and thus costs innumerable manpower for labeling. Unsupervised learning is one of the effective solutions to overcome such difficulties. In our work, we propose AugNet, a new deep learning training paradigm to learn image features from a collection of unlabeled pictures. We develop a method to construct the similarities between pictures as distance metrics in the embedding space by leveraging the inter-correlation between augmented versions of samples. Our experiments demonstrate that the method is able to represent the image in low dimensional space and performs competitively in downstream tasks such as image classification and image similarity comparison. Specifically, we achieved over 60% and 27% accuracy on the STL10 and CIFAR100 datasets with unsupervised clustering, respectively. Moreover, unlike many deep-learning-based image retrieval algorithms, our approach does not require access to external annotated datasets to train the feature extractor, but still shows comparable or even better feature representation ability and easy-to-use characteristics. In our evaluations, the method outperforms all the state-of-the-art image retrieval algorithms on some out-of-domain image datasets. The code for the model implementation is available at https://github.com/chenmingxiang110/AugNet.

研究动机与目标

• 开发一种简单、端到端的无监督深度学习框架，用于视觉表征学习，且无需人工标注。
• 通过利用增强图像变体之间的相互关联作为自监督信号，提升特征表示能力。
• 使学习到的特征可迁移至下游任务（如图像分类和相似性比较），而无需在外部标注数据集上进行预训练。
• 在有限或无标注数据的分布外数据集上，超越现有无监督和有监督图像检索方法的性能。

提出的方法

• 该方法训练一个深度卷积神经网络（CNN），将图像映射到低维嵌入空间，使得同一图像的不同增强视图的嵌入表示彼此靠近。
• 采用对比损失函数，最大化正样本对（同一图像的增强视图）之间的相似性，同时最小化负样本对（来自不同图像的增强视图）之间的相似性。
• 该框架仅使用无标签图像进行端到端训练，通过对每张图像应用数据增强生成正样本对。
• 模型采用 ResNet 主干网络（ResNet18、ResNet34），并使用 t-SNE 可视化学习到的表征。
• 推理阶段，直接提取图像特征并用于相似性搜索或聚类，无需微调或外部监督。
• 对于草图数据集，将图像转换为单通道以在训练过程中保留结构细节。

实验结果

研究问题

• RQ1 仅基于图像增强的自监督学习方法是否能在无任何标注数据的情况下学习到具有竞争力的视觉表征？
• RQ2 在分布外数据集上的图像检索任务中，所提方法与最先进有监督和无监督方法相比性能如何？
• RQ3 所学习到的特征在多样化的数据分布（如动漫、草图和 Pokémon 图像）之间具备多大程度的泛化能力？
• RQ4 当训练数据有限且无法访问预训练模型时，该方法是否仍能保持强劲性能？

主要发现

• 在 STL-10 和 CIFAR-100 数据集上，AugNet 在无监督聚类任务中分别取得了 60.1% 和 27.1% 的准确率，展现出强大的表征学习能力。
• 在 Pokémon 数据集上，模型达到了 86.50% 的 mAP，比之前最先进方法高出 5.92 个百分点。
• 在 Tagged Anime Illustrations 数据集上，该方法达到了 20.33% 的 mAP，较之前最先进方法提升 3.63 个百分点。
• 在 Human Sketches 数据集上，模型取得了 20.03% 的 mAP，超越之前最先进方法 0.83 个百分点。
• 模型在 20 分钟（Pokémon）、6 小时（动漫）和 12 小时（草图）内完成收敛，表明其在小到中等规模数据集上训练效率较高。
• 使用 t-SNE 的可视化结果证实，模型学习到了语义上有意义的聚类，相似图像在嵌入空间中被分组在一起。