[논문 리뷰] Clustering with Deep Learning: Taxonomy and New Methods

Elie Aljalbout, Vladimir Golkov외 3명|arXiv (Cornell University)|2018. 01. 23.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 194

한 줄 요약

본 논문은 심층 신경망을 활용하는 클러스터링 방법에 대한 체계적인 분류 체계를 제시하고, MNIST에서 경쟁적이며 때때로 최첨단 수준의 클러스터링 성능을 달성하는 사례 연구를 통해 이를 검증한다.

ABSTRACT

Clustering methods based on deep neural networks have proven promising for clustering real-world data because of their high representational power. In this paper, we propose a systematic taxonomy of clustering methods that utilize deep neural networks. We base our taxonomy on a comprehensive review of recent work and validate the taxonomy in a case study. In this case study, we show that the taxonomy enables researchers and practitioners to systematically create new clustering methods by selectively recombining and replacing distinct aspects of previous methods with the goal of overcoming their individual limitations. The experimental evaluation confirms this and shows that the method created for the case study achieves state-of-the-art clustering quality and surpasses it in some cases.

연구 동기 및 목표

• 심층 신경망에 의존하는 클러스터링 방법에 대한 통합 분류 체계를 개발한다.
• 새로운 클러스터링 방법의 체계적 설계를 가능하게 하는 구성 가능한 빌딩 블록을 식별한다.
• 새로운 방법을 구축하는 사례 연구를 통해 분류 체계의 유용성을 입증한다.
• 빌딩 블록의 재구성을 통해 기존 방법의 한계를 극복할 수 있음을 보인다.

제안 방법

• 신경망 아키텍처, 심층 특징 세트, 비클러스터링 손실, 클러스터링 손실, 손실 결합, 클러스터 업데이트, 그리고 사후 훈련 재평가(2.1–2.7)를 포함한 빌딩 블록으로 모듈식 분류 체계를 정의한다.
• 기존의 심층 학습 기반 클러스터링 방법을 조사하고 이들을 분류 체계에 매핑하여 강점과 한계를 분석한다.
• CNN 기반 인코더를 이용하고 자동인코더 스타일의 재구성 손실, 클러스터링 특화 손실(클러스터 하드닝), 학습 표현에 대한 최종 k-means 재실행을 포함하는 사례 연구 방법을 제안한다.
• 재구성 손실로의 프리트레이닝 1단계와 재구성 손실과 클러스터링 손실 모두를 사용한 미세 조정 2단계의 두 단계 학습 과정을 사용한다.
• MNIST와 COIL20에서 ACC와 NMI를 통해 향상된 클러스터링 품질과 데이터 세트 간의 균형 잡힌 성능을 보여준다.

실험 결과

연구 질문

• RQ1 딥 네트워크를 활용하는 클러스터링 방법을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 분류 체계의 빌딩 블록을 조합하면 향상된 클러스터링 성능을 가진 새로운 방법을 도출할 수 있는가?
• RQ3 분류 체계에서 구축된 사례 연구 방법이 표준 벤치마크(예: MNIST)에서 최첨단 또는 경쟁력 있는 결과를 달성하는가?

주요 결과

• 이 분류 체계는 빌딩 블록을 재조합하여 체계적인 방법 구성을 가능하게 한다.
• 사례 연구 방법은 MNIST에서 0.923 NMI를 달성하여 해당 지표에서 최첨단을 능가한다.
• 제안된 접근 방식은 다른 방법들에 비해 MNIST와 COIL20 간에 균형 잡힌 성능을 제공한다.
• 제안된 방법을 적용한 후 클러스터링 친화적인 잠재 공간이 시각화된다.
• 본 연구는 분류 체계 가이드 디자인이 적어도 하나의 벤치마크에서 기존 방법보다 우수할 수 있음을 보여준다.
• 저자들은 이 방법이 MNIST에서 NMI 측면의 이전 최첨단을 능가하고 데이터 세트 간의 균형 잡힌 성능을 제공한다고 보고한다.