[논문 리뷰] An Experimental Comparison of Several Clustering and Initialization Methods

Marina Meilă, David Heckerman|arXiv (Cornell University)|2013. 01. 30.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 103

한 줄 요약

이 논문은 나이브 베이즈 모델에 숨겨진 루트 노드를 사용하여 고차원 이산 데이터에 대해 군집 알고리즘과 초기화 방법을 실험적으로 비교한다. EM 알고리즘은 K-means 유사 및 계층적 응집 군집보다 유의미하게 뛰어난 성능을 보이며, 정보가 없는 사전 확률, 변형된 주변 분포, 계층적 응집 군집과 같은 다양한 초기화 전략들 역시 서로 다른 접근 방식에도 불구하고 유사한 높은 품질의 결과를 산출한다.

ABSTRACT

We examine methods for clustering in high dimensions. In the first part of the paper, we perform an experimental comparison between three batch clustering algorithms: the Expectation-Maximization (EM) algorithm, a winner take all version of the EM algorithm reminiscent of the K-means algorithm, and model-based hierarchical agglomerative clustering. We learn naive-Bayes models with a hidden root node, using high-dimensional discrete-variable data sets (both real and synthetic). We find that the EM algorithm significantly outperforms the other methods, and proceed to investigate the effect of various initialization schemes on the final solution produced by the EM algorithm. The initializations that we consider are (1) parameters sampled from an uninformative prior, (2) random perturbations of the marginal distribution of the data, and (3) the output of hierarchical agglomerative clustering. Although the methods are substantially different, they lead to learned models that are strikingly similar in quality.

연구 동기 및 목표

• 고차원 이산 데이터에 대해 배치 군집 알고리즘—EM, 워너-테이크-all EM, 모델 기반 계층적 응집 군집화—의 성능을 평가하는 것.
• EM 알고리즘의 최종 군집 품질에 미치는 다양한 초기화 전략의 영향을 조사하는 것.
• 다양한 초기화 방법이 고차원 환경에서 동일한 모델 성능을 낳는지 여부를 확인하는 것.
• 기타 군집화 접근 방식과 비교하여 EM의 강인성과 효과성을 평가하는 것.

제안 방법

• 연구는 실제 및 시뮬레이션된 고차원 이산 변수 데이터 세트를 모델링하기 위해 은닉 루트 노드를 가진 나이브 베이즈 모델을 사용한다.
• 세 가지 군집 알고리즘을 평가한다: 표준 EM, K-means 유사한 워너-테이크-all 변형 EM, 모델 기반 계층적 응집 군집화.
• EM에 대해 세 가지 초기화 방법을 시험한다: 정보가 없는 사전 확률에서 샘플링, 데이터의 주변 분포에 무작위 변형을 가하는 것, 계층적 응집 군집화의 출력을 사용하는 것.
• 다양한 고차원 이산 데이터 세트에서 실험적 비교를 통해 성능을 평가하며, 모델 적합도와 안정성 측정을 통해 군집 품질을 측정한다.
• 잠재 혼합 모델의 파라미터를 학습하기 위해 기대값 최대화 절차를 반복적으로 최적화하는 EM 알고리즘을 사용한다.
• 계층적 응집 군집화는 독립적인 방법으로도 사용되며, EM의 초기화 자료로도 활용되며, 연결 기준을 이용해 단계적으로 클러스터를 구축한다.

실험 결과

연구 질문

• RQ1 EM, 워너-테이크-all EM, 계층적 응집 군집화는 고차원 이산 데이터에서 성능 면에서 어떻게 비교되는가?
• RQ2 EM 알고리즘이 생성하는 최종 군집 해법에 대해 초기화 방법의 선택이 유의미하게 영향을 미치는가?
• RQ3 정보가 없는 사전 확률, 변형된 주변 분포, 계층적 응집 군집화와 같은 다양한 초기화 방법들이 EM이 고품질 해법에 도달하도록 동일하게 효과적인가?
• RQ4 다양한 데이터 세트에서 EM과 계층적 응집 군집화의 군집 결과가 품질 면에서 어느 정도 수렴하는가?

주요 결과

• EM 알고리즘이 고차원 이산 데이터에서 군집 품질 측면에서 워너-테이크-all EM 변형 및 계층적 응집 군집화보다 유의미하게 뛰어나다.
• 개념적 차이가 있음에도 불구하고, 정보가 없는 사전 확률, 변형된 주변 분포, 계층적 응집 군집화의 세 가지 초기화 방법 모두 EM 해법의 품질이 놀랍도록 유사하게 산출된다.
• 데이터 주변 분포에 대한 무작위 변형은 단순하면서도 효과적인 초기화 전략으로, 경쟁 가능한 결과를 산출한다.
• 계층적 응집 군집화를 EM의 초기화로 사용할 경우, 다른 초기화 기법들과 비교해 유사한 성능을 낳는다.
• 이 연구는 EM이 고차원 이산 데이터에 적용될 경우 초기화에 대해 강인하며, 다양한 시작점에서도 해법 품질이 최소한으로 저하됨을 보여준다.