[논문 리뷰] Clustering-friendly Representation Learning via Instance Discrimination and Feature Decorrelation

Yaling Tao, Kentaro Takagi외 1명|arXiv (Cornell University)|2021. 05. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 36

한 줄 요약

이 논문은 인스턴스 차별화와 소프트맥스 기반 특징 상관 제거를 결합하여 클러스터링 친화적 표현을 학습하고 이를 스펙트럴 클러스터링과 연결하며 간단한 k-means를 사용해 이미지 클러스터링에서 강한 성능을 달성한다.

ABSTRACT

Clustering is one of the most fundamental tasks in machine learning. Recently, deep clustering has become a major trend in clustering techniques. Representation learning often plays an important role in the effectiveness of deep clustering, and thus can be a principal cause of performance degradation. In this paper, we propose a clustering-friendly representation learning method using instance discrimination and feature decorrelation. Our deep-learning-based representation learning method is motivated by the properties of classical spectral clustering. Instance discrimination learns similarities among data and feature decorrelation removes redundant correlation among features. We utilize an instance discrimination method in which learning individual instance classes leads to learning similarity among instances. Through detailed experiments and examination, we show that the approach can be adapted to learning a latent space for clustering. We design novel softmax-formulated decorrelation constraints for learning. In evaluations of image clustering using CIFAR-10 and ImageNet-10, our method achieves accuracy of 81.5% and 95.4%, respectively. We also show that the softmax-formulated constraints are compatible with various neural networks.

연구 동기 및 목표

• 비지도 이미지 클러스터링을 위한 클러스터링 친화적 표현 학습 방법을 동기 부여하고 개발한다.
• 인스턴스 차별화와 스펙트럴 클러스터링의 다리 놓기: 인스턴스 간의 유사성과 특징 간의 상관 제거를 모두 강제한다.
• 일반 신경망과의 호환성을 갖춘 안정적인 소프트맥스 형태의 상관 제거 제약을 제안한다.
• 학습 임베딩에 대해 간단한 k-means를 사용하여 CIFAR-10 및 ImageNet-10에서 최첨단 성능을 입증한다.

제안 방법

• 각 무레이블 인스턴스를 자체 클래스로 간주하는 인스턴스 차별화를 채택하고, 인스턴스 간 유사성을 학습하기 위한 소프트맥스 기반 목표를 사용한다.
• 잠재 특징 직교화를 촉진하는 소프트맥스 형 제약을 포함한 특징 상관 제거 용어를 도입하되 유연성(소프트 상관 제거)을 허용한다.
• 인스턴스 차별화 손실과 상관 제거 손실을 결합하여 결합 목표 L_IDFD = L_I + alpha L_F (알파는 설정에 따라 조정) 를 제시한다.
• 단순 직교 제약 L_FO를 갖는 변형을 제공하고 소프트맥스 상관 제거 L_F와 비교하여 안정성과 실용적 이점을 강조한다.
• tau가 적절히 설정될 때( tau ≥ 약 2) 학습된 임베딩이 라플라스 고유공간에 가까워지는 방식으로 학습 임베딩이 스펙트럴 클러스터링에 어떻게 연결되는지 보여 준다.
• 다양한 데이터셋(CIFAR-10, CIFAR-100, STL-10, ImageNet-10, ImageNet-Dog)과 네트워크에 걸쳐 학습된 임베딩에 대해 k-means 클러스터링으로 평가한다.

실험 결과

연구 질문

• RQ1 인스턴스 차별화 기반 표현 학습이 무지도 이미지 클러스터링을 위한 클러스터링 친화적 임베딩을 생성하도록 맞춤화될 수 있는가?
• RQ2 소프트맥스 형 특징 상관 제거 제약을 도입하면 엄격한 직교성과 비교해 클러스터링 성능과 안정성이 개선되는가?
• RQ3 온도 매개변수 tau가 클러스터링 품질 및 스펙트럴 클러스터링과의 관계에 어떤 영향을 미치는가?
• RQ4 제안된 IDFD 이득이 서로 다른 네트워크 아키텍처와 데이터셋에서도 강건한가?

주요 결과

• IDFD(및 그 변형인 IDFO, ID(tuned))이 ACC, NMI, ARI에 대해 다수의 데이터셋에서 여러 기법(AE, DEC, DAC, DCCM, IIC, SCAN)보다 일관되게 우수하다.
• CIFAR-10에서 IDFD는 81.5% ACC, 71.1 NMI, 66.3 ARI; CIFAR-100은 42.5 ACC, 42.6 NMI, 26.4 ARI; STL-10은 75.6 ACC, 64.3 NMI, 57.5 ARI; ImageNet-10은 95.4 ACC, 89.8 NMI, 90.1 ARI; ImageNet-Dog은 59.1 ACC, 54.6 NMI, 41.3 ARI를 달성한다.
• IDFO와 IDFD는 데이터셋 전반에서 ID(original) 대비 꾸준히 개선되며 특징 상관 제거의 이점과 더 큰 tau의 인스턴스 차별화 설정(ID tuned)을 보여준다.
• 소프트맥스 상관 제거 제약 L_F는 직교성(L_FO)보다 안정성과 유연성을 제공하며, 도함수는 더 매끄러운 최적화를 안내한다.
• IDFD는 여러 아키텍처(ConvNet, VGG16, ResNet18/34)에서도 작동하며 데이터 증강과 결합해도 효과적이여서 실용적 적용 가능성을 시사한다.