[논문 리뷰] Image Clustering with External Guidance

Yunfan Li, Peng Hu외 4명|arXiv (Cornell University)|2023. 10. 18.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 WordNet의 텍스트 의미를 활용하여 특징의 구분 능력을 향상시키고 클러스터링 성능을 향상시키는 외부 지도 기반 이미지 클러스터링 방법인 Text-Aided Clustering (TAC)을 제안한다. 이미지와 텍스트 간의 이웃 정보를 공동으로 정제함으로써 TAC는 다섯 개인 표준 및 세 개의 도전적인 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 외부 지식이 지도 신호로서의 효과를 입증한다.

ABSTRACT

The core of clustering is incorporating prior knowledge to construct supervision signals. From classic k-means based on data compactness to recent contrastive clustering guided by self-supervision, the evolution of clustering methods intrinsically corresponds to the progression of supervision signals. At present, substantial efforts have been devoted to mining internal supervision signals from data. Nevertheless, the abundant external knowledge such as semantic descriptions, which naturally conduces to clustering, is regrettably overlooked. In this work, we propose leveraging external knowledge as a new supervision signal to guide clustering, even though it seems irrelevant to the given data. To implement and validate our idea, we design an externally guided clustering method (Text-Aided Clustering, TAC), which leverages the textual semantics of WordNet to facilitate image clustering. Specifically, TAC first selects and retrieves WordNet nouns that best distinguish images to enhance the feature discriminability. Then, to improve image clustering performance, TAC collaborates text and image modalities by mutually distilling cross-modal neighborhood information. Experiments demonstrate that TAC achieves state-of-the-art performance on five widely used and three more challenging image clustering benchmarks, including the full ImageNet-1K dataset.

연구 동기 및 목표

• 클러스터링에서 내부 지도 신호의 한계를 해결하기 위해, 이는 데이터의 복잡성과 분포에 의해 제한되기 때문이다.
• 외부 지식—특히 WordNet의 텍스트 의미—를 새로운, 활용도가 낮은 지도 신호로 탐색하고 검증하기 위해.
• 외부 텍스트 의미를 이미지 특징과 효과적으로 통합하여 클러스터링의 구분 능력과 성능을 향상시키는 방법을 설계하기 위해.
• 외부 지식이 입력 데이터와 비록 관련성이 없어 보여도 상당한 성능 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• TAC는 이미지 의미 중심을 가장 잘 구분할 수 있는 WordNet 명사를 선택하고 검색하여 텍스트 공간을 구성함으로써 특징의 구분 능력을 향상시킨다.
• 구분 능력 있는 텍스트 대체물 생성을 위해 부드러움 온도를 사용하는 검색 프로세스를 정의한다.
• 이 방법은 이미지 및 텍스트 모odal 간의 이웃 정보를 상호 정제함으로써 클러스터링 표현을 정렬하고 개선한다.
• 클러스터 붕괴를 방지하고 균형 잡힌 클러스터 분포를 확보하기 위해 학습 가능한 가중치를 가진 균형 손실을 사용한다.
• 의미 중심 분포 기반으로 최적의 클러스터 수를 자동으로 결정하는 클러스터 수 추정 기준을 도입한다.
• 대비 학습과 상호 정제를 함께 최적화하여 표현 품질을 향상시키는 클러스터링 목표를 공동으로 최적화한다.

Figure 1: The evolution of clustering methods could be roughly divided into three eras, including i) classic clustering , which designs clustering strategies based on data distribution assumptions; ii) deep clustering , which extracts clustering-favorable features with deep neural networks by formul

실험 결과

연구 질문

• RQ1 기존 지식 기반(예: WordNet)에서 유래한 외부 텍스트 지식이 이미지 클러스터링에 효과적인 지도 신호가 될 수 있는가?
• RQ2 텍스트 의미를 어떻게 효과적으로 이미지 특징과 정렬하여 클러스터링 성능을 향상시킬 수 있는가?
• RQ3 텍스트 보강 클러스터링 프레임워크의 성능를 지배하는 하이퍼파라미터는 무엇이며, 어떻게 조정해야 하는가?
• RQ4 외부 지식을 활용하는 것이 기존의 자기지도 학습 또는 내부 지도 기반 클러스터링 방법보다 우월한가?

주요 결과

• TAC는 전체 ImageNet-1K 포함 다섯 개인 널리 사용되는 이미지 클러스터링 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전 방법들에 비해 상당한 향상을 보여준다.
• 다양한 데이터셋에 걸쳐 뛰어난 안정성과 내구성을 보이며, 최근접 이웃 수 및 상호 정제 온도와 같은 핵심 하이퍼파라미터 값에 대해 성능이 안정적이다.
• 클러스터당 최적의 구분 능력 있는 명수는 3에서 10 사이에 위치하며, 이보다 작거나 큰 값에서는 성능이 저하된다.
• 명사 검색에서의 부드러움 온도는 매우 중요하다: 너무 낮으면 동일한 명사로 붕괴되고, 너무 높으면 서로 다른 이미지 클래스 간의 의미가 혼합된다.
• 식 (2)에 제시된 클러스터 수 추정 기준은 최적의 클러스터 수를 효과적으로 식별하며, ImageNet-Dogs 및 UCF-101 양쪽 모두에서 성능 향상을 이룬다.
• 모든 여덟 개인 데이터셋에서 α = 5의 균형 손실 가중치가 효과적으로 작용하여 모델 붕괴를 방지하고 균형 잡힌 클러스터 할당을 보장한다.

Figure 2: The observations of this paper. As a showcase, two image examples from the ImageNet-Dogs dataset are illustrated. For each example, we show the manually annotated class names and the nouns obtained by the proposed TAC, as well as the zero-shot classification probabilities. From the example