[논문 리뷰] Model-Based Hierarchical Clustering

Shivakumar Vaithyanathan, Byron Dom|arXiv (Cornell University)|2013. 01. 16.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 66

한 줄 요약

이 논문은 베이지안 추론을 사용하여 클러스터 구조, 특징 분포, 계층 깊이를 동시에 학습하는 모델 기반 계층적 군집화 접근법을 제안한다. 클러스터 간에 고유하거나 공유되는 분포로 특징을 모델링함으로써, 주변 가능도 최대화를 통한 자동 최적 군집화를 가능하게 하며, 문서 데이터와 시뮬레이션 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

We present an approach to model-based hierarchical clustering by formulating an objective function based on a Bayesian analysis. This model organizes the data into a cluster hierarchy while specifying a complex feature-set partitioning that is a key component of our model. Features can have either a unique distribution in every cluster or a common distribution over some (or even all) of the clusters. The cluster subsets over which these features have such a common distribution correspond to the nodes (clusters) of the tree representing the hierarchy. We apply this general model to the problem of document clustering for which we use a multinomial likelihood function and Dirichlet priors. Our algorithm consists of a two-stage process wherein we first perform a flat clustering followed by a modified hierarchical agglomerative merging process that includes determining the features that will have common distributions over the merged clusters. The regularization induced by using the marginal likelihood automatically determines the optimal model structure including number of clusters, the depth of the tree and the subset of features to be modeled as having a common distribution at each node. We present experimental results on both synthetic data and a real document collection.

연구 동기 및 목표

• 클러스터 계층 학습과 특징 분포 모델링을 통합한 통합된 모델 기반 접근법을 개발하는 것.
• 주변 가능도 정규화를 사용하여 최적의 클러스터 수, 트리 깊이, 특징 분할을 자동으로 결정하는 것.
• 특징이 클러스터 간에 고유하거나 공유되는 분포를 가질 수 있도록 하여 계층적 관계를 반영하는 것.
• 다항분포 가능도와 딜레트 분포 사전을 사용하여 문서 군집화에 모델을 적용하는 것.
• 이 방법의 효과성을 시뮬레이션 데이터와 실제 문서 컬렉션 양쪽에서 입증하는 것.

제안 방법

• 클러스터 할당과 특징 분포에 대한 공동 사전확률을 갖는 베이지안 분석 기반의 계층적 군집화 목적함수를 수립하는 것.
• 두 단계 과정을 사용: 먼저 평면 군집화를 수행한 후, 특징 분포 일관성 검사를 통한 수정된 응집적 병합을 수행하는 것.
• 계층의 하위수준에서 특징을 클러스터별 또는 공유 분포로 모델링하는 것.
• 문서 데이터의 경우 다항분포 특징 분포에 대해 딜레트 사전을 사용하는 것.
• 클러스터 수와 계층 깊이를 포함한 최적의 모델 구조 선택을 위해 주변 가능도를 정규화 요소로 활용하는 것.
• 병합 과정에 특징 분할을 통합하여, 병합된 클러스터 간에 일관된 분포를 유지하는 특징를 평가하는 것.

실험 결과

연구 질문

• RQ1 통합된 확률 모델은 어떻게 계층적 클러스터 구조와 특징 분포 패턴을 동시에 학습할 수 있는가?
• RQ2 공유 특징 분포는 의미 있는 계층적 그룹화를 정의하는 데 어떤 역할을 하는가?
• RQ3 주변 가능도가 수동 조정 없이 최적의 군집 깊이와 클러스터 수를 자동으로 결정할 수 있는가?
• RQ4 기본적인 계층적 군집화 방법과 비교해 볼 때, 이 모델은 문서 군집화에서 어떻게 성능을 발휘하는가?
• RQ5 이 모델은 계층적 구조에서의 복잡한 특징 세트 분할을 어느 정도 잘 포착하는가?

주요 결과

• 주변 가능도 최대화를 통해 모델이 자동으로 최적의 클러스터 수와 계층 깊이를 결정하여 수동 매개변수 조정이 필요 없어진다.
• 이 방법은 클러스터 간에 공유되는 분포를 갖는 특징 서브셋을 성공적으로 식별하여 계층적 그룹화와 일치시킨다.
• 문서 군집화 작업에서, 이 모델은 표준 계층적 군집화 기준보다 경쟁력 있거나 뛰어난 성능을 달성한다.
• 모델은 시뮬레이션 데이터에 대해 잘 일반화되어 있으며, 알려진 클러스터 및 특징 분포 구조를 정확히 복원한다.
• 두 단계 과정—평면 군집화 이후 모델 인식 병합—을 통해 계층적 구조 탐색의 확장성과 정확도가 향상된다.
• 딜레트 사전과 다항분포 가능도의 사용은 텍스트와 같은 고차원 이산 데이터의 효과적인 모델링을 가능하게 한다.