[논문 리뷰] MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering

Tsung Wei Tsai, Chongxuan Li외 1명|arXiv (Cornell University)|2021. 05. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 10

한 줄 요약

MiCE는 대조 학습과 전문가의 혼합 모델을 융합하여 분류 가능한 표현과 군집 구조를 동시에 최적화하는 통합된 확률적 군집 프레임워크를 제안한다. 각 인스턴스를 특화된 대조 전문가로 유도하는 게이팅 네트워크를 사용하고, 확장 가능한 EM 알고리즘을 통해 훈련함으로써, 사전 훈련 없이도 네 가지 자연 이미지 벤치마크에서 최신 기술 수준의 성능을 달성하며, SCAN 및 MoCo와 같은 강력한 기준 모델보다 CIFAR-10에서 최대 90.3% 높은 성능을 기록한다.

ABSTRACT

We present Mixture of Contrastive Experts (MiCE), a unified probabilistic clustering framework that simultaneously exploits the discriminative representations learned by contrastive learning and the semantic structures captured by a latent mixture model. Motivated by the mixture of experts, MiCE employs a gating function to partition an unlabeled dataset into subsets according to the latent semantics and multiple experts to discriminate distinct subsets of instances assigned to them in a contrastive learning manner. To solve the nontrivial inference and learning problems caused by the latent variables, we further develop a scalable variant of the Expectation-Maximization (EM) algorithm for MiCE and provide proof of the convergence. Empirically, we evaluate the clustering performance of MiCE on four widely adopted natural image datasets. MiCE achieves significantly better results than various previous methods and a strong contrastive learning baseline.

연구 동기 및 목표

• 대표성 학습과 군집화를 분리하는 이중 단계 군집 방법의 한계를 해결하기 위해.
• 잠재적인 혼합 모델을 사용한 확률적 군집과 대조 학습을 통한 분류 가능한 표현 학습을 통합하기 위해.
• 보조 정규화 없이 표현과 군집 할당을 동시에 최적화하는 확장 가능한 EM 기반 훈련 알고리즘을 개발하기 위해.
• 제안된 방법이 종단 간 군집 기준 모델과 강력한 이중 단계 대조 사전 훈련 방법을 모두 초월함을 보여주기 위해.
• ELBO 목적함수가 유계이며 EM 알고리즘이 수렴함을 이론적으로 보장함으로써 훈련의 안정성을 확보하기 위해.

제안 방법

• 각 전문가가 대조 학습을 통해 일부 인스턴스를 구별하도록 하는 조건부 모델의 혼합을 정의한다.
• 잠재적 의미적 구조에 기반해 각 인스턴스에 대해 전문가에 대한 특수한 가중치를 할당하는 게이팅 함수를 도입한다.
• 잠재 군집 변수를 사용한 확률적 프레임워크를 활용해 전문가의 혼합을 모델링함으로써 표현과 군집 할당을 동시에 최적화할 수 있도록 한다.
• 확장 가능한 EM 알고리즘을 개발: E단계는 잠재 군집 변수에 대한 근사 사후 추론을 수행하고, M단계는 모든 모델 파라미터에 대해 ELBO를 최대화한다.
• 일致성을 확보하기 위해 네트워크 전반에 걸쳐 공유되는 프로토타입을 사용하면서, 각 전문가별로 대조 손실을 적용하여 분류 능력을 향상시킨다.
• 보조 손실 없이 단일 통합 목적함수를 최적화함으로써 정규화를 피함으로써 종단 간 훈련을 보장한다.

실험 결과

연구 질문

• RQ1 대조 학습과 혼합 모델링을 융합한 통합 프레임워크가 이중 단계 기준 모델을 초월해 비지도 이미지 군집화 성능을 향상시킬 수 있는가?
• RQ2 제안된 대조 전문가의 혼합(MiCE)이 사전 훈련 없이도 최신 기술 수준의 방법보다 뛰어난 군집 성능을 달성할 수 있는가?
• RQ3 MiCE는 사전 훈련 후 군집화를 수행하는 이중 단계 방법(예: SimCLR로 사전 훈련 후 군집화)과 비교해 성능 및 수렴 속도 측면에서 어떻게 다른가?
• RQ4 MiCE의 EM 기반 훈련 절차는 이론적으로 타당한가? ELBO 목적함수의 수렴이 보장되는가?
• RQ5 MiCE는 진정한 군집 수 K에 대한 지식 없이 다양한 데이터셋에 일반화 가능한가? 과도한 군집화 문제에 어떻게 대응하는가?

주요 결과

• MiCE는 MoCo/InstDisc와 같은 더 약한 증강 전략만을 사용해도 CIFAR-10에서 83.4%의 군집 정확도를 달성하며, 이중 단계 설정에서 SCAN(SimCLR: 78.7%)과 RandAugment(81.8%)를 모두 초월한다.
• 사전 훈련을 사용할 경우 MiCE는 SimCLR 증강 전략을 사용해 CIFAR-10에서 90.3%의 정확도를 기록하며, 자가 레이블링을 사용하는 SCAN의 최고 성능(87.6%)을 뛰어넘는다.
• 사전 훈련 및 미세조정을 거친 MiCE는 CIFAR-10에서 89.3%의 정확도를 기록하며, 동일한 사전 훈련 프로토콜을 사용하는 SCAN 대비 뛰어난 강건성과 성능 향상을 보여준다.
• ELBO 목적함수는 유계이며, 제안된 EM 알고리즘이 수렴함을 보여 이론적으로 훈련 절차의 안정성을 뒷받침한다.
• 게이팅 전용 프로토타입과 전문가 전용 프로토타입 간 유사성이 유도되지 않으며, 실험적 코사인 유사도는 0.25 이하로 낮아 서로 다른 역할을 하며, 대응하지 않는 점이 부정적인 영향을 미치지 않음을 시사한다.
• MiCE는 손실 가중치 조정을 위한 추가 정규화나 하이퍼파라미터 튜닝이 필요 없으며, 단일 통합 목적함수를 최적화함으로써 종단 간 훈련이 가능하다.