[논문 리뷰] Identifying the number of clusters in discrete mixture models

Cláudia Marisa Vasconcelos Silvestre, Margarida G. M. S. Cardoso외 1명|arXiv (Cornell University)|2014. 09. 25.

Bayesian Methods and Mixture Models참고 문헌 39인용 수 8

한 줄 요약

이 논문은 이산 혼합 모델에 대한 범주형 데이터의 클러스터 수를 동시에 추정하고 선택하는 데 사용되는 EM-MML 알고리즘을 제안한다. 최소 메시지 길이(MML) 기준을 사용하여 기존의 정보 기준(예: BIC)보다 더 빠른 계산 속도, 더 단순한 해법, 더 높은 해석 가능성과 더 낮은 과대추정 위험을 제공한다. 이는 시뮬레이션 데이터와 실제 유럽사회조사(European Social Survey) 데이터 모두에서 성능이 뛰어나다.

ABSTRACT

Research on cluster analysis for categorical data continues to develop, with new clustering algorithms being proposed. However, in this context, the determination of the number of clusters is rarely addressed. In this paper, we propose a new approach in which clustering of categorical data and the estimation of the number of clusters is carried out simultaneously. Assuming that the data originate from a finite mixture of multinomial distributions, we develop a method to select the number of mixture components based on a minimum message length (MML) criterion and implement a new expectation-maximization (EM) algorithm to estimate all the model parameters. The proposed EM-MML approach, rather than selecting one among a set of pre-estimated candidate models (which requires running EM several times), seamlessly integrates estimation and model selection in a single algorithm. The performance of the proposed approach is compared with other well-known criteria (such as the Bayesian information criterion-BIC), resorting to synthetic data and to two real applications from the European Social Survey. The EM-MML computation time is a clear advantage of the proposed method. Also, the real data solutions are much more parsimonious than the solutions provided by competing methods, which reduces the risk of model order overestimation and increases interpretability.

연구 동기 및 목표

• 유한 혼합 모델의 범주형 데이터에 대해 클러스터 수를 결정하는 통합된 방법의 부족을 해결하기 위해.
• 모델 추정과 모델 선택을 통합한 유일한 접근법을 개발하여, 후보 모델에 대해 반복적인 EM 실행을 피하기 위해.
• 더 단순한 클러스터링 해법을 통해 해석 가능성 향상과 과적합 감소를 도모하기 위해.
• 시뮬레이션 데이터와 실제 응용 사례(특히 유럽사회조사에서의 데이터)에서 성능을 평가하기 위해.
• 진짜 클러스터 구조를 회복하는 데 있어 계산 효율성과 강건성을 입증하기 위해.

제안 방법

• 각 클러스터가 별개의 다항분포 성분에 대응된다고 가정하여, 이산 혼합 모델을 다항분포의 유한한 혼합으로 모델링한다.
• 모델 적합도와 복잡도의 균형을 이루기 위해 최소 메시지 길이(MML) 기준을 모델 선택 기준으로 사용한다.
• 클러스터 수를 사전에 지정하지 않고도 반복 추정 과정 내에서 MML 기반 성분 선택을 통합한 새로운 EM 알고리즘을 개발한다.
• EM-MML 알고리즘을 구현하여 혼합 성분의 매개수를 동시에 추정하고 최적의 클러스터 수를 선택한다.
• 과적합을 방지하기 위해 데이터를 효율적으로 압축하는 모델을 선호하는 방식으로 MML 기준을 이산 혼합 모델에 적응시킨다.
• 실제 데이터 응용에서 클러스터의 구별성 평가를 위해 분리도수(예: Π^k)를 사용한다.

실험 결과

연구 질문

• RQ1 EM-MML 알고리즘이 다양한 분리 수준을 가진 시뮬레이션 범주형 데이터에서 진짜 클러스터 수를 정확히 식별할 수 있는가?
• RQ2 계산 효율성과 해법의 단순성 측면에서 EM-MML 접근법이 BIC 및 기타 정보 기준과 비교해 어떻게 성능을 내는가?
• RQ3 실제 범주형 데이터에서 EM-MML 방법이 더 해석 가능하고 과적합이 적은 클러스터링 해법을 제공하는가?
• RQ4 EM-MML 방법이 매우 작은 또는 불안정한 클러스터를 추정할 위험을 어느 정도 줄이는가?
• RQ5 EM-MML 접근법은 유럽사회조사와 같은 실제 설문조사 데이터에서 의미 있는 세그먼트를 효과적으로 식별할 수 있는가?

주요 결과

• EM-MML 방법은 반복적인 EM 실행이 필요한 BIC 기반 접근법에 비해 유의미하게 빠른 계산 시간을 기록했다.
• 시뮬레이션 데이터에서 EM-MML는 다양한 분리 수준에서도 진짜 클러스터 수를 성공적으로 복원하여 강건성을 입증했다.
• 실제 데이터 응용에서는 BIC, AIC 등 다른 기준이 13~18개의 세그먼트를 선택한 데 비해, EM-MML는 "만족도" 변수에 대해 오직 7개의 세그먼트만 선택하여 더 단순한 해법임을 보였다.
• EM-MML 해법은 기본 변수와의 Cramer’s V 상관관계 값이 2.40으로, BIC 및 기타 기준의 2.18~2.29보다 높아, 더 뛰어난 분류 능력과 해석 가능성을 나타냈다.
• "신뢰" 데이터의 경우 EM-MML 해법의 분리도수는 1.46, "만족도" 데이터의 경우 1.26로 나타나 잘 분리된 클러스터임을 확인했다.
• EM-MML 해법은 클러스터당 평균 관측 수를 증가시켜 소규모 클러스터와 관련된 추정 문제를 줄였다.