[논문 리뷰] A Model-Based Approach to Rounding in Spectral Clustering

Leonard K. M. Poon, April H. Liu외 2명|arXiv (Cornell University)|2012. 10. 16.

Advanced Clustering Algorithms Research참고 문헌 5인용 수 7

한 줄 요약

이 논문은 스펙트럴 클러스터링의 라운딩을 위한 모델 기반 방법을 제안하며, 사용된 주요 고유벡터의 수가 클러스터 수와 같아야 한다는 가정을 완화한다. 잠재 트리 모델을 활용하여 고유벡터 선택, 클러스터 수 추정, 데이터 분할을 통합적으로 다룸으로써, 비이상적인 조건에서도 정확성과 견고성을 향상시킨다. 이를 통해 이상적인 클러스터링 설정에서 점진적인 성능 저하를 보이며, 합성 및 실세계 데이터셋에서 검증되었다.

ABSTRACT

In spectral clustering, one defines a similarity matrix for a collection of data points, transforms the matrix to get the Laplacian matrix, finds the eigenvectors of the Laplacian matrix, and obtains a partition of the data using the leading eigenvectors. The last step is sometimes referred to as rounding, where one needs to decide how many leading eigenvectors to use, to determine the number of clusters, and to partition the data points. In this paper, we propose a novel method for rounding. The method differs from previous methods in three ways. First, we relax the assumption that the number of clusters equals the number of eigenvectors used. Second, when deciding the number of leading eigenvectors to use, we not only rely on information contained in the leading eigenvectors themselves, but also use subsequent eigenvectors. Third, our method is model-based and solves all the three subproblems of rounding using a class of graphical models called latent tree models. We evaluate our method on both synthetic and real-world data. The results show that our method works correctly in the ideal case where between-clusters similarity is 0, and degrades gracefully as one moves away from the ideal case.

연구 동기 및 목표

• 기존 스펙트럴 클러스터링 라운딩의 한계를 해결하기 위해, 클러스터 수가 사용된 주요 고유벡터의 수와 같아야 한다는 가정을 없애는 것.
• 주요 고유벡터뿐 아니라 후속 고유벡터의 정보까지 통합하여 클러스터 수 추정을 향상시키는 것.
• 고유벡터 선택, 클러스터 수 결정, 데이터 분할을 동시에 해결하는 통합된 모델 기반 프레임워크를 개발하는 것.
• 상호 클러스터 유사도가 0이 아닌 비이상적인 상황에서 스펙트럴 클러스터링의 견고성을 향상시키는 것.

제안 방법

• 이 방법은 잠재 클러스터 구조를 모델링하기 위해 잠재 트리 모델이라 불리는 그래픽 모델의 일종을 사용한다.
• 주요 고유벡터뿐만 아니라 비주요 고유벡터까지 포함한 다수의 고유벡터 패턴을 분석하여 클러스터 수를 동시에 추정하고 데이터 포인트를 클러스터에 할당한다.
• 기존의 표준 가정인 '사용된 주요 고유벡터의 수가 클러스터 수와 같아야 한다'는 것을 완화한다.
• 고유벡터의 구조에 기반하여 최적의 클러스터 수와 최종 분할을 결정하기 위해 확률적 추론 절차를 사용한다.
• 클러스터의 밀도와 분리도를 균형 있게 유지하는 가능도 기반 기준을 사용하여 모델을 학습한다.
• 클러스터 구조가 알려진 합성 데이터와 실세계 데이터셋을 사용하여, 클러스터가 겹치는 정도가 다양한 상황에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 모델 기반 접근법이 주로 주요 고유벡터에 의존하는 것과는 달리, 스펙트럴 클러스터링에서 클러스터 수 추정의 정확성을 향상시킬 수 있는가?
• RQ2 비주요 고유벡터의 정보를 통합함으로써, 겹치는 클러스터가 존재하는 비이상적인 상황에서 스펙트럴 클러스터링의 견고성은 어떻게 향상되는가?
• RQ3 서로 다른 클러스터 간의 유사도가 이상적인 0 유사도 상태에서 점차 증가함에 따라, 제안된 방법은 얼마나 점진적으로 성능이 저하되는가?
• RQ4 통합된 확률적 모델이 스펙트럴 클러스터링 라운딩의 세 가지 하위 문제인 고유벡터 선택, 클러스터 수 결정, 데이터 분할을 효과적으로 처리할 수 있는가?

주요 결과

• 서로 다른 클러스터 간의 유사도가 0인 이상적인 경우에, 방법은 진짜 클러스터 수를 정확히 식별한다.
• 서로 다른 클러스터 간의 유사도가 증가함에 따라 점진적으로 성능이 저하되지만, 중간 수준의 겹침 상황에서도 합리적인 성능을 유지한다.
• 후속 고유벡터의 정보를 통합함으로써, 주로 주요 고유벡터에 의존하는 방법보다 더 정확한 클러스터 수 추정이 가능해진다.
• 실세계 데이터셋에서 기준 방법보다 모델 기반 접근법이 더 뛰어난 성능을 보이며, 경계가 모호하거나 겹치는 경우에 특히 유리하다.
• 잠재 트리 모델의 사용은 라운딩 문제에 대해 체계적이고 확률적인 해결책을 제공함으로써, 일관성과 해석 가능성의 향상을 이룬다.