[논문 리뷰] Differentiable Deep Clustering with Cluster Size Constraints

Aude Genevay, Gabriel Dulac-Arnold외 1명|arXiv (Cornell University)|2019. 10. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 10

한 줄 요약

이 논문은 정규화된 최적 운반 이론을 사용하여 딥 임bedding과 클러스터 할당을 함께 학습하는 가역적 딥 클러스터링 프레임워크를 제안한다. 명시적인 클러스터 크기 제약 조건을 포함한다. k-means를 엔트로피 정규화를 사용한 최적 운반 문제로 재구성함으로써, 확률적 경사 하강법을 통한 엔드 투 엔드 학습이 가능해지며, 사전 훈련 없이 CIFAR-10과 MNIST에서 최신 기준 성능을 달성한다. 소프트-k-means보다 통계적으로 유의미하게 뛰어나다.

ABSTRACT

Clustering is a fundamental unsupervised learning approach. Many clustering algorithms -- such as $k$-means -- rely on the euclidean distance as a similarity measure, which is often not the most relevant metric for high dimensional data such as images. Learning a lower-dimensional embedding that can better reflect the geometry of the dataset is therefore instrumental for performance. We propose a new approach for this task where the embedding is performed by a differentiable model such as a deep neural network. By rewriting the $k$-means clustering algorithm as an optimal transport task, and adding an entropic regularization, we derive a fully differentiable loss function that can be minimized with respect to both the embedding parameters and the cluster parameters via stochastic gradient descent. We show that this new formulation generalizes a recently proposed state-of-the-art method based on soft-$k$-means by adding constraints on the cluster sizes. Empirical evaluations on image classification benchmarks suggest that compared to state-of-the-art methods, our optimal transport-based approach provide better unsupervised accuracy and does not require a pre-training phase.

연구 동기 및 목표

• 딥 임bedding 네트워크와 클러스터 할당을 동시에 최적화하는 완전히 가역적인 딥 클러스터링 방법을 개발한다.
• 딥 클러스터링에 명시적인 클러스터 크기 제약 조건을 통합하여 균형 잡힌 데이터셋에서 성능을 향상시킨다.
• 임베딩 네트워크의 사전 훈련이 필요 없도록, 클러스터링을 위해 특화된 표현을 처음부터 학습한다.
• 최근의 소프트-k-me안 기반 접근법을 최적 운반 이론과 엔트로피 정규화를 사용하여 일반화한다.

제안 방법

• 엔트로피 정규화를 사용하여 k-means 클러스터링을 정규화된 최적 운반 문제로 재구성하여 가역성을 확보한다.
• 임베딩 파라미터 θ와 클러스터 파라미터(중심점 μ_k 및 가중치 w_k)에 의존하는 최적 운반 기반의 가역 손실 함수를 정의한다.
• Sinkhorn 알고리즘을 사용하여 최적 운반 계획을 효율적으로 계산함으로써 기반 기반 최적화를 가능하게 한다.
• 운반 계획의 주변 분포를 목표 비율 w_k와 일치시켜 클러스터 크기 제약 조건을 구현한다.
• 확률적 경사 하강법을 사용하여 임베딩 네트워크 f_θ와 클러스터 파라미터를 함께 최적화한다.
• 클러스터 중심을 k-means로 초기화하지만, 클러스터 인덱스와 클래스 비율 간의 매칭 단계를 적용하여 오차가 발생하는 것을 방지한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화를 사용한 최적 운반 이론을 활용해 완전히 가역적인 딥 클러스터링 프레임워크를 구축할 수 있는가?
• RQ2 클러스터 크기 제약 조건을 적용하면 이미지 벤치마크에서 비지도 클러스터링 성능이 향상되는가?
• RQ3 이 방법은 임베딩 네트워크의 사전 훈련 없이도 최신 기준 성능을 달성할 수 있는가?
• RQ4 엔트로피 정규화 파라미터 ε의 선택에 대해 이 방법은 얼마나 강인한가?
• RQ5 통계적 유의성과 성능 안정성 측면에서 소프트-k-means와 비교해 볼 때 이 방법은 어떠한가?

주요 결과

• 제안된 최적 운반 기반 방법은 CIFAR-10(p-value = 10^−12)과 MNIST(p-value = 0.0067)에서 소프트-k-means를 유의미하게 뛰어넘어 통계적 우월성을 입증한다.
• CIFAR-10에서 이 방법은 사전 훈련 없이도 소프트-k-means보다 높은 비지도 정확도를 달성하며, 사전 훈련이 성능 향상에 유의미하게 기여하지는 않는다.
• MNIST에서는 사전 훈련 없이도 소프트-k-means보다 유의미하게 뛰어나지만, 사전 훈련은 소프트-k-means의 성능 향상에 비해 이 방법의 성능 향상에 더 적은 영향을 미친다.
• 이 방법은 엔트로피 정규화 파라미터 ε의 선택에 대해 강인하며, 다양한 ε 값 범위에서 일관된 성능을 유지한다.
• 성능 향상은 특히 균형 잡힌 데이터셋에서 가장 두드러지며, 이 경우 클러스터 크기 제약 조건이 가장 효과적으로 작용한다.
• 초기 결과에 따르면, 클러스터 초기화가 클래스 비율과 일치하지 않으면 잘못된 클러스터 크기를 강제로 적용할 수 있으므로, 이를 방지하기 위해 비율에 맞는 매칭이 필요하다.