[论文解读] Invariant Information Distillation for Unsupervised Image Segmentation and Clustering

Xu Ji, João F. Henriques+1 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Image and Video Retrieval Techniques参考文献 17被引用 53

一句话总结

该论文提出了一种新颖的无监督聚类方法，通过仅使用未配对的图像数据来从零开始训练神经网络，方法是最大化增强图像对之间预测结果的互信息。该方法在八个基准测试中取得了最先进性能，包括在CIFAR10上比之前方法高出9.5%的准确率，在半监督设置下于STL10上达到88.8%的准确率。

ABSTRACT

We present a novel clustering objective that learns a neural network classifier from scratch, given only unlabelled data samples. The model discovers clusters that accurately match semantic classes, achieving state-of-the-art results in eight unsupervised clustering benchmarks spanning image classification and segmentation. These include STL10, an unsupervised variant of ImageNet, and CIFAR10, where we significantly beat the accuracy of our closest competitors by 6.6 and 9.5 absolute percentage points respectively. The method is not specialised to computer vision and operates on any paired dataset samples; in our experiments we use random transforms to obtain a pair from each image. The trained network directly outputs semantic labels, rather than high dimensional representations that need external processing to be usable for semantic clustering. The objective is simply to maximise mutual information between the class assignments of each pair. It is easy to implement and rigorously grounded in information theory, meaning we effortlessly avoid degenerate solutions that other clustering methods are susceptible to. In addition to the fully unsupervised mode, we also test two semi-supervised settings. The first achieves 88.8% accuracy on STL10 classification, setting a new global state-of-the-art over all existing methods (whether supervised, semi-supervised or unsupervised). The second shows robustness to 90% reductions in label coverage, of relevance to applications that wish to make use of small amounts of labels. this http URL

研究动机与目标

• 开发一种聚类目标，能够从无标签数据中学习语义表征，而无需预训练特征或外部聚类步骤。
• 通过将方法建立在信息论基础上，解决无监督对比学习中常见的退化解问题。
• 通过网络直接预测语义标签，避免需要后处理的高维表征空间。
• 在包括图像分类、分割和半监督学习设置在内的多样化基准上评估性能。
• 在极端标签稀缺情况下（如标签减少90%）展示鲁棒性，特别是在半监督场景中。

提出的方法

• 该方法使用随机数据增强，从每张图像生成配对样本，形成对比学习的正样本对。
• 通过不变信息蒸馏目标，最大化网络在每对增强样本上的预测之间的互信息。
• 网络被训练为直接输出语义类别分配，避免依赖下游聚类算法。
• 该目标基于信息论，确保对其他对比方法中常见的退化解具有鲁棒性。
• 该方法具有通用性，可推广至视觉以外的领域，适用于任何成对数据分布。
• 通过将少量标签与无监督目标结合，测试了半监督变体，从而在标签稀缺条件下提升泛化能力。

实验结果

研究问题

• RQ1 是否可以仅使用无标签数据从零开始训练神经网络，以发现有意义的语义聚类？
• RQ2 在增强图像对的预测之间最大化互信息，是否能带来最先进水平的聚类性能？
• RQ3 该方法是否能在包括图像分类和分割任务在内的多样化基准上实现泛化？
• RQ4 在极端标签稀缺情况下（如标签减少90%）该方法表现如何？
• RQ5 该模型是否能在不依赖大规模标注数据的情况下，实现半监督学习的最先进结果？

主要发现

• 在无监督聚类任务中，该方法在CIFAR10上的准确率比最接近的竞争对手高出9.5个百分点。
• 在STL10上，其半监督变体达到88.8%的准确率，创下所有监督、半监督和无监督方法中的新全球最先进水平。
• 该模型在八个无监督基准测试中显著优于先前方法，包括STL10、ImageNet-unsupervised和CIFAR10。
• 该方法对标签覆盖率减少90%具有鲁棒性，展现出在极少数监督下的优异性能。
• 由于其信息论基础，该方法避免了退化解，确保了稳定且有意义的聚类。
• 网络直接输出语义标签，无需后处理或外部聚类步骤。