[논문 리뷰] Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering

Bo Yang, Xiao Fu외 2명|arXiv (Cornell University)|2016. 10. 15.

Face and Expression Recognition참고 문헌 35인용 수 597

한 줄 요약

논문은 재구성 항을 포함하여 비선형 차원 축소와 K-평균 클러스터링을 함께 학습하는 Deep Clustering Network( DCN )를 도입하여Trivial 솔루션을 방지하고 여러 실제 데이터 세트에서 클러스터링 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

Most learning approaches treat dimensionality reduction (DR) and clustering separately (i.e., sequentially), but recent research has shown that optimizing the two tasks jointly can substantially improve the performance of both. The premise behind the latter genre is that the data samples are obtained via linear transformation of latent representations that are easy to cluster; but in practice, the transformation from the latent space to the data can be more complicated. In this work, we assume that this transformation is an unknown and possibly nonlinear function. To recover the `clustering-friendly' latent representations and to better cluster the data, we propose a joint DR and K-means clustering approach in which DR is accomplished via learning a deep neural network (DNN). The motivation is to keep the advantages of jointly optimizing the two tasks, while exploiting the deep neural network's ability to approximate any nonlinear function. This way, the proposed approach can work well for a broad class of generative models. Towards this end, we carefully design the DNN structure and the associated joint optimization criterion, and propose an effective and scalable algorithm to handle the formulated optimization problem. Experiments using different real datasets are employed to showcase the effectiveness of the proposed approach.

연구 동기 및 목표

• 비선형 데이터 변환을 다룰 수 있는 공동 DR 및 클러스터링 프레임워크를 동기화하고 공식화한다.
• 클러스터링 친화적 잠재 표현을 촉진하면서 데이터 재구성을 가능하게 하는 심층 신경망 아키텍처를 설계한다.
• 네트워크 매개변수와 클러스터링 변수를 번갈아 업데이트하는 확장 가능한 최적화 알고리즘을 개발한다.
• 합성 데이터와 실제 데이터 세트에서 접근 방식의 효과를 입증하고 강력한 베이스라인과 비교한다.

제안 방법

• 차원 축소, 디코딩 네트워크를 통한 데이터 재구성, K-means 클러스터링 정규화 항을 결합한 공동 목적 함수를 제안한다.
• 엔코더/디코더 구조를 가진 Deep Clustering Network(DCN)을 사용하여 병목층에서 클러스터링을 수행한다.
• 무의미한 솔루션을 방지하고 의미 있는 잠재 표현을 촉진하기 위해 재구성 손실을 포함시키며, 손실은 재구성 항과 lambda 매개변수를 갖는 클러스터링 항으로 구성된다.
• 역전파를 통한 네트워크 매개변수 업데이트와 온라인으로 샘플을 클러스터에 할당하는 번갈아 가며의 확률적 경사 하강법으로 최적화하고, 균형 있는 이동 평균 규칙으로 중심점을 업데이트한다.
• 레이어별 사전 학습과 병목 출력에 대한 K-means를 통한 워밍업 클러스터링으로 네트워크를 초기화한다.
• 다른 네트워크 아키텍처(CNN 등)와 K-means 이외의 클러스터링 기준에 대한 채택의 유연성을 허용한다.

실험 결과

연구 질문

• RQ1 DNN이 학습한 비선형 DR 모델이 선형 DR 방법보다 K-means 클러스터링에 더 적합한 잠재 표현을 생성할 수 있는가?
• RQ2 재구성 제약을 가진 DR과 클러스터링의 공동 최적화가 무의미한 솔루션을 피하고 다양한 데이터 세트에서 클러스터링 품질을 향상시키는가?
• RQ3 제안된 DCN이 대규모 및 불균형 데이터 세트에서 강력한 베이스라인(SAE+KM, DEC, NMF+KM)에 비해 어떻게 성능이 나타나는가?
• RQ4 온라인/미니배치 설정에서 최적화 절차가 실용적이고 확장 가능한가?
• RQ5 재구성 강도(lambda)와 네트워크 아키텍처가 클러스터링 성능에 미치는 영향은 무엇인가?

주요 결과

• DCN은 실제 데이터 세트(RCV1-v2 등)에서 여러 클러스터 수에 걸쳐 베이스라인 대비 클러스터링 지표를 지속적으로 향상시킨다.
• DCN은 SAE+KM보다 우수하며 종종 DEC 및 기타 최첨단 베이스라인보다 성능이 앞서는 편이며, 특히 불균형 클러스터링 시나리오에서 두드러진다.
• 합성 실험에서 DCN은 다른 DR 방법이 실패하는 잠재 공간에서 클러스터링 친화적인 잠재 공간을 복원한다.
• 재구성 구성요소는 무의미한 솔루션을 효과적으로 방지하고 공동 최적화를 안정화하며, 훈련 에폭 동안 지표를 점진적으로 개선한다.
• 이 방법은 MNIST(원시 및 전처리)와 20Newsgroup에서 강한 성능을 보이며 이미지 및 텍스트 데이터 전반에 걸친 강건함을 나타낸다.