[论文解读] Image Clustering with External Guidance

Yunfan Li, Peng Hu+4 more|arXiv (Cornell University)|Oct 18, 2023

Image Retrieval and Classification Techniques被引用 4

一句话总结

本文提出了一种新型的外部引导图像聚类方法——文本增强聚类（Text-Aided Clustering, TAC），该方法利用 WordNet 的文本语义来增强特征的可区分性，从而提升聚类性能。通过联合蒸馏图像与文本之间的邻域信息，TAC 在五个标准基准和三个具有挑战性的基准上实现了最先进（SOTA）的结果，包括完整的 ImageNet-1K，证明了外部知识作为监督信号的有效性。

ABSTRACT

The core of clustering is incorporating prior knowledge to construct supervision signals. From classic k-means based on data compactness to recent contrastive clustering guided by self-supervision, the evolution of clustering methods intrinsically corresponds to the progression of supervision signals. At present, substantial efforts have been devoted to mining internal supervision signals from data. Nevertheless, the abundant external knowledge such as semantic descriptions, which naturally conduces to clustering, is regrettably overlooked. In this work, we propose leveraging external knowledge as a new supervision signal to guide clustering, even though it seems irrelevant to the given data. To implement and validate our idea, we design an externally guided clustering method (Text-Aided Clustering, TAC), which leverages the textual semantics of WordNet to facilitate image clustering. Specifically, TAC first selects and retrieves WordNet nouns that best distinguish images to enhance the feature discriminability. Then, to improve image clustering performance, TAC collaborates text and image modalities by mutually distilling cross-modal neighborhood information. Experiments demonstrate that TAC achieves state-of-the-art performance on five widely used and three more challenging image clustering benchmarks, including the full ImageNet-1K dataset.

研究动机与目标

• 为解决聚类中内部监督信号的局限性，其性能受限于数据的复杂度和分布。
• 探索并验证外部知识——特别是 WordNet 中的文本语义——作为图像聚类中一种新颖且未被充分利用的监督信号。
• 设计一种方法，有效整合外部文本语义与图像特征，以提升聚类的可区分性和性能。
• 证明即使外部知识与输入数据看似无关，也能带来显著性能提升。

提出的方法

• TAC 通过选择并检索最能区分图像语义中心的 WordNet 名词来构建文本空间，从而增强特征的可区分性。
• 通过引入一个软性温度参数，制定一种检索过程，为图像聚类生成具有区分性的文本对应物。
• 该方法在图像与文本模态之间执行相互蒸馏，以对齐并优化聚类表示。
• 采用具有可学习权重的平衡损失，防止聚类坍塌并确保聚类分布均衡。
• 提出一种聚类数量估计准则，基于语义中心分布自动确定最优聚类数。
• 模型通过对比学习与相互蒸馏联合优化聚类目标，以提升表示质量。

Figure 1: The evolution of clustering methods could be roughly divided into three eras, including i) classic clustering , which designs clustering strategies based on data distribution assumptions; ii) deep clustering , which extracts clustering-favorable features with deep neural networks by formul

实验结果

研究问题

• RQ1 预存在的知识库（如 WordNet）中的外部文本知识能否作为图像聚类的有效监督信号？
• RQ2 如何有效对齐文本语义与图像特征以提升聚类性能？
• RQ3 哪些超参数控制文本增强聚类框架的性能，以及应如何调优？
• RQ4 利用外部知识是否优于传统的自监督或基于内部监督的聚类方法？

主要发现

• TAC 在五个广泛使用的图像聚类基准上实现了最先进性能，包括完整的 ImageNet-1K，显著优于先前方法。
• 该方法在多种数据集上表现出强鲁棒性，其性能在关键超参数（如最近邻数和相互蒸馏温度）的不同取值下保持稳定。
• 每个聚类的最佳区分性名词数量范围为 3 到 10 个，数值过小或过大均导致性能下降。
• 名词检索中的软性温度至关重要：过低会导致所有聚类坍塌为相同名词，过高则会混淆不同图像类别之间的语义。
• 公式 (2) 中的聚类数量估计准则能有效识别最优聚类数，在 ImageNet-Dogs 和 UCF-101 上均提升了性能。
• 在所有八个测试数据集中，平衡损失权重 α = 5 表现良好，有效防止模型坍塌并确保聚类分配均衡。

Figure 2: The observations of this paper. As a showcase, two image examples from the ImageNet-Dogs dataset are illustrated. For each example, we show the manually annotated class names and the nouns obtained by the proposed TAC, as well as the zero-shot classification probabilities. From the example