[논문 리뷰] Deep clustering with concrete k-means

Boyan Gao, Yongxin Yang외 2명|arXiv (Cornell University)|2019. 10. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 5

한 줄 요약

이 논문은 딥 특징 표현과 $k$-means 클러스터 중심을 경사 하강법을 통해 디지털 클러스터 할당을 미분 가능하게 다루는 Gumbel-Softmax 재구성 기법을 사용해 동시에 최적화하는 새로운 엔드 투 엔드 딥 클러스터링 프레임워크인 Concrete $k$-means (CKM)을 제안한다. CKM는 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 해석 가능한 딱딱한 할당과 완전한 백프로파게이션 호환성을 유지하며, 클러스터링 품질과 학습 효율성 면에서 이전 방법들을 능가한다.

ABSTRACT

We address the problem of simultaneously learning a k-means clustering and deep feature representation from unlabelled data, which is of interest due to the potential of deep k-means to outperform traditional two-step feature extraction and shallow-clustering strategies. We achieve this by developing a gradient-estimator for the non-differentiable k-means objective via the Gumbel-Softmax reparameterisation trick. In contrast to previous attempts at deep clustering, our concrete k-means model can be optimised with respect to the canonical k-means objective and is easily trained end-to-end without resorting to alternating optimisation. We demonstrate the efficacy of our method on standard clustering benchmarks.

연구 동기 및 목표

• 딥 신경망에서 딥 특징 표현과 $k$-means 클러스터링을 엔드 투 엔드로 미분 가능한 방식으로 함께 학습하는 문제를 해결하기 위해.
• 기본 $k$-means 목표 함수에서 딱딱한 클러스터 할당의 비가역성으로 인해 딥 네트워크 내에서 백프로파게이션을 방해하는 문제를 극복하기 위해.
• 해석 가능한 딱딱한 할당을 유지하면서도 표준 딥 러닝 최적화 기법을 사용해 완전한 엔드 투 엔드 학습이 가능한 방법을 개발하기 위해.
• 대체 손실 함수나 번갈아가며 최적화하는 방식에 의존하는 기존 딥 클러스터링 방법들에 대한 경쟁 가능한 대안을 제공하기 위해.
• 제안된 방법이 딥 클러스터링 문제뿐 아니라 얕은 $k$-means 문제를 효과적으로 해결할 수 있음을 보여주기 위해.

제안 방법

• 메서드는 딱딱한 클러스터 할당을 미분 가능한 방식으로 근사화하기 위해 Gumbel-Softmax 재구성 기법을 사용하여 경사 하강법이 클러스터 할당 단계를 통과할 수 있도록 한다.
• 기존 연구에서 사용된 대체 손실 함수를 피하기 위해 표준 $k$-means 손실 함수를 직접 최적화하는 미분 가능한 목표 함수를 제안한다.
• 모델은 잠재 공간 내에서 학습 가능한 클러스터 중심과 함께 표현 학습을 위한 딥 신경망을 함께 훈련한다.
• 클러스터 할당은 콘크리트 분포를 통해 계산되며, 이는 학습 중 소프트에서 하드로의 온도 스케줄링을 가능하게 한다.
• 프레임워크는 엔드 투 엔드 백프로파게이션을 지원하여 클러스터링을 더 큰 딥 러닝 아키텍처 내 모듈로 통합할 수 있다.
• 메서드는 표준 딥 러닝 최적화 기법을 사용해 훈련되며, 번갈아가며 최적화하거나 히우리스틱 대체 목표 함수가 필요하지 않다.

실험 결과

연구 질문

• RQ1 Can we differentiate through the discrete cluster assignment in the $k$-means objective to enable end-to-end training of deep neural networks and cluster centroids?
• RQ2 Does the proposed method achieve competitive clustering performance compared to state-of-the-art deep clustering approaches?
• RQ3 Can the method maintain hard cluster assignments for interpretability while still being fully differentiable and trainable via backpropagation?
• RQ4 Is the proposed framework effective for both deep clustering and standard shallow $k$-means problems?
• RQ5 How does the method compare in training efficiency and convergence speed to alternating optimization or surrogate loss-based approaches?

주요 결과

• MNIST에서 CKM는 정규화 상호정보량(NMI) 81.4±1.8, 조정된 랜드 지수(ARI) 77.7±1.1, 정확도(ACC) 85.4±2.1을 기록하며, DEC와 DCN을 능가한다.
• USPS에서 CKM는 NMI 70.7±0.2, ARI 61.3±0.2, ACC 72.1±0.4를 기록하며, DCN과 DEC와 유사하거나 略적으로 뛰어나다.
• 20Newsgroups에서 CKM는 NMI 46.5±1.4, ARI 34.1±1.6, ACC 47.3±2.3을 기록하며, 최신 기술 수준의 방법들과 유사한 성능을 보인다.
• 비교된 방법들 중에서 CKM만이 딱딱한 클러스터 할당과 엔드 투 엔드 미분 가능한 훈련을 동시에 구현하여, 설명 가능성과 딥 네트워크 내 모듈화 통합을 가능하게 한다.
• CKM는 DCN보다 훨씬 더 빠른 훈련 속도를 보이며, MNIST 기준으로 1에포크당 11초로, DCN의 36초보다 빠르며, DEC와 유사한 속도를 기록한다.
• 또한 얕은 $k$-means 문제에 대해서도 경쟁 가능한 솔루션을 제공하여, 표준 벤치마크에서 $k$-means++와 유사한 성능을 달성한다.