[논문 리뷰] Deep $k$-Means: Jointly clustering with $k$-Means and learning representations

Maziar Moradi Fard, Thibaut Thonet외 1명|arXiv (Cornell University)|2018. 06. 26.

Gaussian Processes and Bayesian Inference참고 문헌 39인용 수 259

한 줄 요약

DKM은 차별화 가능한 소프트-할당 대리자를 통해 데이터 표현과 K-평균 클러스터링을 공동으로 학습하여 재구성 품질을 저하시키지 않으면서도 강력한 클러스터링 성능을 달성합니다. 이미지 및 텍스트 데이터 세트에서 여러 심층 클러스터링 베이스라인보다 우수합니다.

ABSTRACT

We study in this paper the problem of jointly clustering and learning representations. As several previous studies have shown, learning representations that are both faithful to the data to be clustered and adapted to the clustering algorithm can lead to better clustering performance, all the more so that the two tasks are performed jointly. We propose here such an approach for $k$-Means clustering based on a continuous reparametrization of the objective function that leads to a truly joint solution. The behavior of our approach is illustrated on various datasets showing its efficacy in learning representations for objects while clustering them.

연구 동기 및 목표

• 고차원 데이터에서 표현 학습과 클러스터 할당을 함께 학습하여 클러스터링의 도전을 동기화하고 해결한다.
• 표현 학습과 K-Means 클러스터링을 하나로 연결하는 차별화 가능한 종단 간 최적화를 개발한다.
• K-Means 목적 함수의 연속 완화를 사용하여 SGD 기반의 확장 가능 학습이 가능함을 입증한다.
• 제어된 공정한 조건에서 최첨단 심층 클러스터링 베이스라인과 비교한다.
• 다양한 데이터 세트(이미지 및 텍스트)에서 방법의 효과를 입증한다.

제안 방법

• 오토인코더가 학습한 임베딩 공간에서 재구성 손실과 클러스터링 손실을 최소화하도록 딥 k-Means를 형식화한다.
• 매개변수화된 소프트맥스(Gk,f(hθ(x),α;R))를 기반으로 한 차분 가능한 대리자 Gk,f를 사용한 k-Means 목표의 연속 일반화를 도입한다.
• α를 역온도로 사용하고 결정적 어닐링 스케줄을 적용하여 할당을 점차 딱하게 만든다.
• 대리 손실을 사용한 SGD로 θ(오토인코더)와 R(클러스터 중심)을 공동으로 최적화하여 엔드투엔드 학습을 가능하게 한다.
• Gk,f(소프트맥스 기반 대리 포함)의 선택과 대리자가 진짜 하드 할당으로 수렴하는 조건을 논의한다.
• 초기에 Cluster 중심을 설정하는 전략으로 사전 학습 대 어닐링(pretraining vs. annealing)을 고려한다.

실험 결과

연구 질문

• RQ1 K-Means 클러스터링과 표현 학습을 차별화 가능한 엔드투엔드 프레임워크에서 실제로 함께 최적화할 수 있는가?
• RQ2 노미드(최솟값)를 차분 가능하게 하는 soft 대리자(어닐링 포함)가 명시적 이산 업데이트 없이 경쟁력 있거나 우수한 클러스터링을 달성하는가?
• RQ3 계속적 완화를 통한 공동 학습이 데이터 모달리티가 다른 경우에도 사전 학습 기반의 심층 클러스터링 방법과 비교해 어떤 차이가 있는가?
• RQ4 α의 어닐링이 클러스터링 품질 및 표현 학습에 미치는 영향은 무엇인가?
• RQ5 학습된 표현이 독립적이거나 전통적인 오토인코더 + K-Means 파이프라인으로 생성된 표현보다 클러스터링에 더 구별성이 있는가?

주요 결과

• 어닐링(DKMa)을 적용한 DKM은 사전 학습 없이도 모든 데이터 세트와 방법에서 비사전 학습 DCN보다 우수한 클러스터링 품질을 보이며 사전 학습 기반 방법에 근접하거나 이를 앞지른다.
• 사전 학습이 있는 경우 DKMp는 강력한 베이스라인과 경쟁하거나 더 나은 성능을 달성하는데, 종종 IDEC 및 DCN을 능가한다.
• 연속 대리자를 통한 표현 학습과 클러스터링의 공동 학습은 MNIST, USPS, 20NEWS, RCV1에서 K-Means 관련 심층 클러스터링 방법 중 최첨단 또는 거의 최첨단 성능을 달성하게 한다.
• 대리자 파라미터 α의 어닐링은 클러스터 중심 초기화 및 좋은 지역 최적점 달성에 효과적인 대안으로 작용한다.
• DKM의 학습된 임베딩 공간은 특히 사전 학습의 경우 USPS에서 t-SNE로 시각화될 때 잘 분리된 클러스터를 생성한다.
• 데이터 세트 전반에 걸쳐 DKM 변형은 표준 KM 및 AE-KM 베이스라인을 지속적으로 능가하여 공동 최적화의 이점을 보여준다.