[论文解读] Deep Image Category Discovery using a Transferred Similarity Function

Yen-Chang Hsu, Zhaoyang Lv+1 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 24被引用 12

一句话总结

本文提出了一种端到端深度聚类框架，将来自源域（例如 Omniglot）的预训练相似度函数迁移至未标注的自然图像中，通过弱二元成对约束来发现物体类别。通过利用密集且嘈杂的相似度预测作为监督信号，该方法在 MNIST、CIFAR-10、STL-10 和 ImageNet 上实现了最先进性能，证明了其对域偏移的鲁棒性以及在大规模数据集上的可扩展性。

ABSTRACT

Automatically discovering image categories in unlabeled natural images is one of the important goals of unsupervised learning. However, the task is challenging and even human beings define visual categories based on a large amount of prior knowledge. In this paper, we similarly utilize prior knowledge to facilitate the discovery of image categories. We present a novel end-to-end network to map unlabeled images to categories as a clustering network. We propose that this network can be learned with contrastive loss which is only based on weak binary pair-wise constraints. Such binary constraints can be learned from datasets in other domains as transferred similarity functions, which mimic a simple knowledge transfer. We first evaluate our experiments on the MNIST dataset as a proof of concept, based on predicted similarities trained on Omniglot, showing a 99\% accuracy which significantly outperforms clustering based approaches. Then we evaluate the discovery performance on Cifar-10, STL-10, and ImageNet, which achieves both state-of-the-art accuracy and shows it can be scalable to various large natural images.

研究动机与目标

• 解决在无标签数据条件下，对自然图像中无监督图像类别发现的挑战。
• 通过实现从弱迁移知识端到端学习，减少对有偏见的度量学习与聚类流水线的依赖。
• 通过利用源域提供的密集成对相似度约束，提升在复杂真实世界数据集上的聚类性能。
• 证明该方法在存在嘈杂相似度预测的情况下，对大规模数据集（如 ImageNet）仍具备可扩展性和鲁棒性。

提出的方法

• 在源数据集（例如 Omniglot）上训练一个孪生网络架构，以预测图像对之间的二元相似度标签。
• 将训练好的相似度预测网络（SPN）冻结，并作为目标域中的迁移相似度函数使用。
• 在未标注的目标图像上端到端训练一个联合聚类网络（ClusterNet），使用固定 SPN 的预测结果作为弱监督信号。
• 应用对比损失以基于迁移的相似度约束强制形成聚类结构。
• 该框架以无监督方式联合学习深度特征表示与聚类分配。
• 使用 t-SNE 可视化来评估并解释所学聚类嵌入的质量。

实验结果

研究问题

• RQ1 能否通过从源域迁移的相似度函数，在无标签的目标域中实现有效的无监督图像类别发现？
• RQ2 该方法在源域与目标域之间存在域偏移导致的相似度预测噪声时，是否依然具有鲁棒性？
• RQ3 所提出的端到端聚类框架是否能超越传统的两阶段度量学习与聚类流水线？
• RQ4 该方法是否能有效扩展到大规模自然图像数据集（如 ImageNet）？
• RQ5 即使 SPN 未在这些类别上进行训练，该框架是否仍能发现细粒度类别（例如黑鹭 vs. 靛蓝滨雀）？

主要发现

• 在 MNIST 上，该方法利用在 Omniglot 上训练的相似度预测实现了 99% 的准确率，显著优于基于聚类的基线方法。
• 在 CIFAR-10 上，该方法在测试集上达到 0.750 的 NMI 和 0.750 的 ACC，优于所有对比的聚类方法。
• 在 ImageNet-10R 上，该方法在测试集上达到 0.707 的 NMI 和 0.750 的 ACC，表明其在细粒度自然图像类别上表现强劲。
• t-SNE 可视化结果成功将黑鹭与靛蓝滨雀等关系密切的类别分离，表明聚类发现能力有效。
• 由于采用了密集成对约束，该方法对噪声相似度预测表现出鲁棒性，即使在域偏移存在的情况下也能实现准确聚类。
• 该方法在多个基准测试（包括 MNIST、CIFAR-10、STL-10 和 ImageNet）上均达到最先进性能，验证了其可扩展性与泛化能力。