[논문 리뷰] C3: Cross-instance guided Contrastive Clustering

Mohammadreza Sadeghi, Hadi Hojjati외 1명|arXiv (Cornell University)|2022. 11. 14.

COVID-19 diagnosis using AI인용 수 11

한 줄 요약

C3는 교차 인스턴스 유사도를 활용하여 더 신뢰할 수 있는 양성 쌍을 식별하고 거짓 음성 쌍을 줄임으로써 클러스터링 성능을 향상시키는 새로운 대비 클러스터링 방법을 제안한다. 음성 샘플에 대한 소프트 웨이팅 기법과 유사도 기반 손실 함수를 도입함으로써 C3는 SOTA 성능을 달성하여 CIFAR-10에서 이전 방법 대비 최대 6.6% 향상된 클러스터링 정확도를 기록하고, ImageNet-10에서 5.0% 향상되었다.

ABSTRACT

Clustering is the task of gathering similar data samples into clusters without using any predefined labels. It has been widely studied in machine learning literature, and recent advancements in deep learning have revived interest in this field. Contrastive clustering (CC) models are a staple of deep clustering in which positive and negative pairs of each data instance are generated through data augmentation. CC models aim to learn a feature space where instance-level and cluster-level representations of positive pairs are grouped together. Despite improving the SOTA, these algorithms ignore the cross-instance patterns, which carry essential information for improving clustering performance. This increases the false-negative-pair rate of the model while decreasing its true-positive-pair rate. In this paper, we propose a novel contrastive clustering method, Cross-instance guided Contrastive Clustering (C3), that considers the cross-sample relationships to increase the number of positive pairs and mitigate the impact of false negative, noise, and anomaly sample on the learned representation of data. In particular, we define a new loss function that identifies similar instances using the instance-level representation and encourages them to aggregate together. Moreover, we propose a novel weighting method to select negative samples in a more efficient way. Extensive experimental evaluations show that our proposed method can outperform state-of-the-art algorithms on benchmark computer vision datasets: we improve the clustering accuracy by 6.6%, 3.3%, 5.0%, 1.3% and 0.3% on CIFAR-10, CIFAR-100, ImageNet-10, ImageNet-Dogs, and Tiny-ImageNet.

연구 동기 및 목표

• 대비 클러스터링 방법이 교차 인스턴스 관계를 忽시함으로써 높은 거짓 음성 쌍 비율과 최적화되지 않은 클러스터링을 유도하는 한계를 해결하기 위해.
• 인스턴스 수준의 유사도 모델링을 통해 더 안정적인 양성 쌍을 식별하여 클러스터링 성능을 향상시키기 위해.
• 클러스터 경계 근처의 어려운 클러스터링 샘플에 집중하는 가중 샘플링 전략을 개발하기 위해.
• 상호 인스턴스 유사도를 통합하여 더 클러스터 친화적인 표현 공간을 학습하기 위한 손실 함수를 설계하기 위해.
• 쌍별 데이터 유사도를 고려할 경우 클러스터링 정확도와 강건성이 다양한 벤치마크에서 상당히 향상됨을 경험적으로 검증하기 위해.

제안 방법

• 인스턴스 수준 표현을 사용하여 유사한 샘플을 식별하고 특징 공간에서의 집합을 장려하는 새로운 대비 손실 함수를 도입한다.
• 클러스터 경계에 가까운 음성 샘플에 더 높은 가중치를 할당하는 소프트 웨이팅 메커니즘을 제안한다. 이는 어려운 샘플에 대한 집중을 향상시킨다.
• 하이퍼파라미터 ζ로 제어되는 임계값 기반의 유사도 메트릭을 사용하여 특징 공간의 근접도에 기반해 동적으로 양성 쌍을 식별한다.
• 하이퍼파라미터 Γ로 제어되는 엔트로피 기반 가중치 기법을 사용하여 음성 샘플링에서 다양성과 집중성의 균형을 이룬다.
• 데이터 증강을 통해 양성 쌍을 생성하지만, 교차 인스턴스 유사도를 통해 증강된 시각 외의 양성 쌍 집합을 확장한다.
• 표현 학습과 클러스터링 성능를 동시에 최적화하는 대비 목표를 기반으로 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 비지도 대비 클러스터링에서 교차 인스턴스 관계를 효과적으로 활용하여 거짓 음성 쌍을 줄일 수 있는가?
• RQ2 상호 인스턴스 유사도에 기반해 동적으로 양성 쌍을 식별할 경우 클러스터링 정확도에 어떤 영향을 미치는가?
• RQ3 경계 인식 가중치 기법을 음성 샘플에 적용할 경우 표현 학습에 어떤 영향을 미치는가?
• RQ4 표현 학습에 쌍별 유사도를 통합할 경우 기존의 표준 대비 클러스터링에 비해 클러스터링 성능이 얼마나 향상되는가?
• RQ5 클러스터 수가 다양한 데이터셋에서 최적의 성능를 내기 위해 필요한 하이퍼파라미터 설정(ζ 및 Γ)은 무엇인가?

주요 결과

• C3는 SOTA 방법 대비 CIFAR-10에서 6.6% 향상된 클러스터링 정확도, CIFAR-100에서 3.3%, ImageNet-10에서 5.0%, ImageNet-Dogs에서 1.3%, Tiny-ImageNet에서 0.3% 향상된 성능 기록.
• 데이터 증강 시각을 초월해 신뢰할 수 있는 양성 쌍 집합을 확장함으로써 거짓 음성 쌍 비율을 상당히 감소시켰다.
• CIFAR-10에서는 ζ = 0.6, Tiny-ImageNet에서는 ζ = 0.95를 사용할 경우, 유사도 탐지에서 민감도와 특이도의 균형을 잘 유지하여 최적의 성능를 달성한다.
• Γ = 0.1로 설정된 가중치 기법은 경계 근처의 어려운 샘플을 효과적으로 우선순위로 지정하여 모델 일반화 능력을 향상시켰다.
• t-SNE 시각화 결과 C3는 표준 대비 클러스터링보다 더 밀도 있고 잘 분리된 클러스터를 생성하는 것으로 나타났다.
• 절단 실험 결과 유사도 기반의 양성 쌍 식별과 가중 음성 샘플링이 성능 향상에 필수적임을 확인하였다.