[论文解读] Unsupervised Deep Learning by Neighbourhood Discovery

Jiabo Huang, Qi Dong+2 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Image and Video Retrieval Techniques被引用 68

一句话总结

AND 提出 Anchor Neighbourhood Discovery，一种无监督方法，通过逐步发现以单个样本为锚点、具有类别一致性的局部邻域来学习判别特征，从而实现无需标签的端到端训练。

ABSTRACT

Deep convolutional neural networks (CNNs) have demonstrated remarkable success in computer vision by supervisedly learning strong visual feature representations. However, training CNNs relies heavily on the availability of exhaustive training data annotations, limiting significantly their deployment and scalability in many application scenarios. In this work, we introduce a generic unsupervised deep learning approach to training deep models without the need for any manual label supervision. Specifically, we progressively discover sample anchored/centred neighbourhoods to reason and learn the underlying class decision boundaries iteratively and accumulatively. Every single neighbourhood is specially formulated so that all the member samples can share the same unseen class labels at high probability for facilitating the extraction of class discriminative feature representations during training. Experiments on image classification show the performance advantages of the proposed method over the state-of-the-art unsupervised learning models on six benchmarks including both coarse-grained and fine-grained object image categorisation.

研究动机与目标

• 通过发现本地的类别一致邻域来推动无监督学习，超越有标签数据的局限。
• 提出 Anchor Neighbourhood Discovery (AND)，在结合聚类与样本特异性优点的同时，缓解各自的弱点。
• 开发基于课程学习的渐进式邻域发现，以在训练过程中最大化类别一致性。
• 提供一个端到端可微的学习框架，配备邻域监督损失。
• 在多种粗粒度与细粒度图像分类基准上展示最先进的性能。

提出的方法

• 将锚点邻域定义为锚定到每个样本的 k 最近邻集合，并假设局部性意味着共享未见的类别标签。
• 使用非参数 softmax 交叉熵损失，以实例级监督初始化（将每个样本视为自己的类别）。
• 引入邻域监督损失，通过对邻居相似度的可微分聚合，促使邻域内标签的一致性。
• 采用课程学习，基于相似度分布的熵在 R 轮中逐步选择更具类别一致性的邻域。
• 使用指数移动平均更新特征记忆，以在多次迭代中实现稳定的邻域发现。
• 在可微的端到端训练循环中优化联合目标，其中结合实例级和邻域级损失。

实验结果

研究问题

• RQ1 局部、具有类别一致性的邻域能够为无标签的无监督深度学习提供可靠的监督信号吗？
• RQ2 相较于一次性邻域或纯实例级学习，渐进式的邻域发现课程是否能提升学习表征的质量？
• RQ3 AND 相较于聚类、自监督以及基于实例的无监督方法在标准基准测试中的表现如何？
• RQ4 邻域大小、网络容量和课程轮次对学习到的特征质量有何影响？

主要发现

• AND 在多个基准上（如 CIFAR10、CIFAR100、SVHN、ImageNet 以及细粒度数据集）经常实现优于多种最先进方法的无监督表征学习。
• 较小的邻域（k=1）往往产生更具类别一致性的邻域并带来更高的性能。
• 在 R 轮中进行渐进式邻域发现的课程学习，相较于单次邻域发现策略，能提升学习效果。
• 更强的网络主干（例如 ResNet 变体）和更好的初始化能够提升 AND 的性能。
• 该方法产生的判别特征直接提升基于 kNN 的分类性能，无需额外后处理。