[논문 리뷰] Deep Comprehensive Correlation Mining for Image Clustering

Jianlong Wu, Keyu Long외 5명|arXiv (Cornell University)|2019. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 18

한 줄 요약

이 논문은 표본 간 상관관계, 입력 변환에 대한 국소적 내성, 그리고 특징 간 삼중 상호정보를 통합하여 분류 가능한 표현을 학습하는 엔드 투 엔드 딥 클러스터링 프레임워크인 딥 종합 상관관계 마이닝(DCCM)을 제안한다. DCCM은 CIFAR-10에서 62.3%의 클러스터링 정확도를 달성하여 기존 최고 성능 방법 대비 10.1% 향상되었다.

ABSTRACT

Recent developed deep unsupervised methods allow us to jointly learn representation and cluster unlabelled data. These deep clustering methods mainly focus on the correlation among samples, e.g., selecting high precision pairs to gradually tune the feature representation, which neglects other useful correlations. In this paper, we propose a novel clustering framework, named deep comprehensive correlation mining(DCCM), for exploring and taking full advantage of various kinds of correlations behind the unlabeled data from three aspects: 1) Instead of only using pair-wise information, pseudo-label supervision is proposed to investigate category information and learn discriminative features. 2) The features' robustness to image transformation of input space is fully explored, which benefits the network learning and significantly improves the performance. 3) The triplet mutual information among features is presented for clustering problem to lift the recently discovered instance-level deep mutual information to a triplet-level formation, which further helps to learn more discriminative features. Extensive experiments on several challenging datasets show that our method achieves good performance, e.g., attaining $62.3\%$ clustering accuracy on CIFAR-10, which is $10.1\%$ higher than the state-of-the-art results.

연구 동기 및 목표

• 기존 딥 클러스터링 방법이 쌍별 상관관계에만 초점을 맞추고 고차원적 의미적 및 구조적 정보를 간과하는 한계를 해결하기 위해.
• 고신뢰도 가짜 레이블을 통한 카테고리 수준의 감독을 통합하여 특징의 분류 가능성을 향상시키기 위해.
• 동일한 이미지의 원본 및 변환된 버전에 대해 일관된 예측을 생성하도록 네트워크를 훈련시켜 내성성을 강화함으로써 안정성을 향상시키기 위해.
• 샘플의 얕은, 깊은, 그래프 강화된 특징 간 삼중 상호정보를 최대화하여 층 간의 분류 가능 정보를 유지하기 위해.

제안 방법

• 딥 CNN을 사용해 예측 특징을 생성하며, 이 특징들이 일점 분포에 수렴하도록 제약을 둬 신뢰할 수 있는 가짜 레이블 할당을 가능하게 한다.
• 특징 간 코사인 유사도로부터 유사도 그래프를 구성하고, 고임계값 임계처리 전략을 통해 높은 신뢰도의 가짜 그래프 간선을 선택하여 감독을 제공한다.
• 동일한 이미지의 원본 및 변환된 버전에 대해 일관된 예측을 생성하도록 네트워크를 훈련시켜 국소적 내성을 강화한다.
• 동일 샘플의 얕은, 깊은, 그래프로 강화된 특징 간 삼중 상호정보를 최대화하여 층 간의 분류 가능 정보를 유지한다.
• 엔드 투 엔드 방식으로 가짜 레이블 손실, 내성성 손실, 삼중 상호정보 손실의 세 가지 손실 성분을 공동 최적화한다.
• 진행적 훈련 전략을 적용하여 가짜 그래프와 가짜 레이블을 에포크 간에 개선함으로써 감독 품질을 향상시킨다.

Figure 1: Comprehensive correlations mining. (a) Various correlations; (b) Connect pair-wise items in higher semantic level progressively; (c) Better results of DCCM than the state-of-the-art DAC [ 9 ] on CIFAR-10 [ 29 ] . Best viewed in color!

실험 결과

연구 질문

• RQ1 가짜 레이블을 통한 카테고리 수준의 정보 통합이 쌍별 상관관계 학습을 초월해 딥 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 입력 변환에 대한 국소적 내성을 강제함으로써 비지도 클러스터링에서 특징 표현 품질에 어떤 영향을 미치는가?
• RQ3 개별 샘플 수준의 상호정보를 삼중 샘플 수준의 공식으로 확장하면 특징의 분류 가능성을 더욱 향상시킬 수 있는가?
• RQ4 표본, 변환, 상호층 간 종합적 상관관계가 함께 클러스터링 정확도를 얼마나 향상시키는가?

주요 결과

• DCCM은 CIFAR-10에서 62.3%의 클러스터링 정확도를 달성하여 이전 최고 성능 방법 대비 10.1% 향상되었다.
• 가짜 레이블 감독을 포함시킴으로써 가짜 그래프만을 사용한 경우 대비 클러스터링 정확도가 7.1%p 상승했다.
• 가짜 그래프와 가짜 레이블만을 사용한 기준선 대비 삼중 상호정보 손실을 추가로 적용함으로써 클러스터링 정확도가 추가로 4.0%p 향상되었다.
• BCubed 정밀도 및 재현율 곡선은 훈련 에포크가 진행됨에 따라 가짜 그래프의 품질이 점차 향상됨을 보여주며, 효과적인 자기지도 학습임을 확인한다.
• 가장 큰 예측 확률의 분포는 초기에는 약 10%의 샘플만이 신뢰도 >0.7을 가지며, 수렴 시 거의 80%로 증가하여 학습된 특징의 일점 행동을 확인한다.
• 가짜 레이블 선택에 대해 높은 임계값(0.95)이 필수적임을 확인하였으며, 성능은 높은 임계값에서 증가함을 보여주어 저신뢰도 레이블이 학습을 악화시킨다는 것을 시사한다.

Figure 2: The pipeline of the proposed DCCM method. Based on the ideally one-hot prediction feature, we compute the highly-confident pseudo-graph and pseudo-label to guide the feature learning of both original and transformed samples, investigating both correlations among different samples and local