[논문 리뷰] Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering

Amar Shah, Zoubin Ghahramani|arXiv (Cornell University)|2013. 09. 26.

Bayesian Methods and Mixture Models인용 수 6

한 줄 요약

이 논문은 비모수 베이지안 방법인 결정성 군집 프로세스를 소개한다. 이는 사전에 군집 수를 지정하지 않고도 커널 기반 준지도 군집화에서 군집 수를 자동으로 추론할 수 있도록 한다. 군집 수를 결정하기 위해 커널 행렬의 부분행렬의 행렬식을 사용하여 점들의 밀도를 측정하며, 초모수 학습을 통한 효율적인 MCMC 추론을 가능하게 하는 게리브 샘플러를 사용한다. 이는 합성 및 실세계 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Semi-supervised clustering is the task of clustering data points into clusters where only a fraction of the points are labelled. The true number of clusters in the data is often unknown and most models require this parameter as an input. Dirichlet process mixture models are appealing as they can infer the number of clusters from the data. However, these models do not deal with high dimensional data well and can encounter difficulties in inference. We present a novel nonparameteric Bayesian kernel based method to cluster data points without the need to prespecify the number of clusters or to model complicated densities from which data points are assumed to be generated from. The key insight is to use determinants of submatrices of a kernel matrix as a measure of how close together a set of points are. We explore some theoretical properties of the model and derive a natural Gibbs based algorithm with MCMC hyperparameter learning. The model is implemented on a variety of synthetic and real world data sets.

연구 동기 및 목표

• 준지도 군집화에서 알려지지 않은 군집 수 문제를 해결하기 위해.
• 복잡한 데이터 밀도를 모델링하는 것을 피하기 위해 비모수 베이지안 접근법을 개발하기 위해.
• 군집화에서 복잡한 데이터 구조를 포착하기 위해 커널 방법을 활용하기 위해.
• 사전 지정 없이도 군집 수를 자동으로 추론할 수 있도록 하기 위해.
• 고차원 데이터에 대해 딜리클리 프로세스 혼합 모델의 스케일러블하고 이론적으로 타당한 대안을 제공하기 위해.

제안 방법

• 데이터 포인트 집합의 밀도 정도를 측정하기 위해 커널 행렬의 부분행렬의 행렬식을 사용한다.
• 군집 수를 사전에 고정하지 않고도 군집 할당을 모델링하기 위해 비모수 베이지안 프레임워크를 적용한다.
• 군집 구성에 대한 사후 추론을 위해 게리브 샘플링 알고리즘을 사용한다.
• 커널 및 군집 매개변수를 적응하기 위해 MCMC 기반 초모수 학습을 통합한다.
• 입력 데이터로부터 커널 행렬을 구성하여 재생 커널 힐버트 공간에서 유사성 관계를 인코딩한다.
• 행렬식 기반의 밀도 측정 기반으로 자연스러운 군집 할당에 대한 사전 분포를 유도한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 방법이 사전 지정 없이 준지도 데이터의 군집 수를 추론할 수 있는가?
• RQ2 커널 행렬 내 점 간 밀도 측정 기반의 결정성 기반 방법이 고차원 공간에서 군집화를 효과적으로 이끌 수 있는가?
• RQ3 기존의 딜리클리 프로세스 혼합 모델과 비교해 본다면, 제안된 방법은 확장성과 군집 정확도 측면에서 어떻게 다른가?
• RQ4 커널 행렬의 행렬식을 군집 기준으로 사용하는 데 이론적 근거는 무엇인가?
• RQ5 제한된 레이블이 있는 경우에도 이 방법은 합성 및 실세계 데이터셋에서 강인한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 사전 지정 없이도 데이터로부터 군집 수를 성공적으로 추론한다.
• 행렬식 기반의 밀도 측정 방법은 합성 및 실세계 데이터셋 모두에서 국소 군집 구조를 효과적으로 포착한다.
• MCMC 기반 초모수 학습을 통한 게리브 샘플링 알고리즘은 안정적이고 효율적인 사후 추론을 가능하게 한다.
• 밀도 모델링이 비가역이 되는 고차원 데이터에서는 기존의 표준 딜리클리 프로세스 혼합 모델보다 성능이 뛰어나다.
• 실세계 데이터셋에 대한 실증 결과는 레이블이 제한된 경우에도 더 높은 군집 정확도와 강인성을 보여준다.
• 이론적 분석을 통해 행렬식 기반 측정 방법이 군집의 밀도와 분리도를 모델링하는 데 적합함을 확인한다.