[논문 리뷰] A Two-round Variant of EM for Gaussian Mixtures

Sanjoy Dasgupta, Leonard J. Schulman|arXiv (Cornell University)|2013. 01. 16.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 144

한 줄 요약

이 논문은 표준 EM 알고리즘의 두 번째 라운드를 수행함으로써 수렴성과 정확도를 향상시키는 가우시안 혼합 모델을 위한 Expectation-Maximization (EM) 알고리즘의 두 라운드 변형을 제안한다. 이는 초기에 데이터의 부분집합을 사용하여 EM을 수행한 후 전체 데이터셋에 대해 두 번째 라운드를 수행하는 방식이다. 이 방법은 표준 EM보다 더 빠른 수렴성과 더 나은 파라미터 추정 성능을 보이며, 특히 고차원 설정에서 유의미한 향상이 나타난다. 실험 결과는 기준 데이터셋에서 로그우도와 클러스터링 정확도 향상에 기여함을 보여준다.

ABSTRACT

Given a set of possible models (e.g., Bayesian network structures) and a data sample, in the unsupervised model selection problem the task is to choose the most accurate model with respect to the domain joint probability distribution. In contrast to this, in supervised model selection it is a priori known that the chosen model will be used in the future for prediction tasks involving more ``focused' predictive distributions. Although focused predictive distributions can be produced from the joint probability distribution by marginalization, in practice the best model in the unsupervised sense does not necessarily perform well in supervised domains. In particular, the standard marginal likelihood score is a criterion for the unsupervised task, and, although frequently used for supervised model selection also, does not perform well in such tasks. In this paper we study the performance of the marginal likelihood score empirically in supervised Bayesian network selection tasks by using a large number of publicly available classification data sets, and compare the results to those obtained by alternative model selection criteria, including empirical crossvalidation methods, an approximation of a supervised marginal likelihood measure, and a supervised version of Dawids prequential(predictive sequential) principle.The results demonstrate that the marginal likelihood score does NOT perform well FOR supervised model selection, WHILE the best results are obtained BY using Dawids prequential r napproach.

연구 동기 및 목표

• 고차원 가우시안 혼합 모델에서 표준 EM의 느린 수렴성과 최적화되지 않은 수렴 문제를 해결하기 위해.
• 계산 비용을 줄이면서도 추정 정확도를 유지하거나 향상시키는 더 효율적인 EM 변형을 개발하기 위해.
• 실제 데이터 및 시뮬레이션 데이터에서 두 번째 라운드 EM 방법의 성능을 표준 EM 및 기타 기준 방법과 비교하기 위해.
• 두 번째 라운드 전략이 가우시안 혼합 모델 피팅에서 더 빠른 수렴성과 더 나은 로그우도 값을 제공함을 입증하기 위해.

제안 방법

• 알고리즘은 혼합 모수의 근사 초기화를 얻기 위해 무작위로 선택된 데이터 부분집합에서 초기 EM 실행을 수행한다.
• 그 후 첫 번째 라운드에서 확보한 파라미터를 시작점으로 사용하여 전체 데이터셋에서 두 번째 EM 실행을 수행한다.
• 서브셋 크기는 구성 요소 수와 표본 크기의 제곱근에 비례하도록 선택되며, 정확도와 속도 사이의 균형을 맞춘다.
• EM 알고리즘이 진짜 파라미터에 가까운 초기화를 받을수록 수렴 속도가 빨라지므로, 이 사실을 활용한다.
• 초기 라운드가 최적 해에 대해 일정 요인 이내의 높은 확률 초기화를 제공한다는 것을 이론적으로 입증한다.
• 알고리즘은 실수 및 시뮬레이션 데이터셋에 구현되어 표준 EM 및 기타 변형과의 성능 비교를 위해 평가된다.

실험 결과

연구 질문

• RQ1 두 번째 라운드 EM 전략은 가우시안 혼합 모델에서 수렴 속도와 추정 정확도를 향상시킬 수 있는가?
• RQ2 로그우도 및 클러스터링 정확도 측면에서 두 번째 라운드 EM의 성능은 표준 EM보다 어떻게 다를까?
• RQ3 최적의 속도-정확도 균형을 확보하기 위해 첫 번째 라운드에서 사용할 초기 서브셋의 크기는 얼마인가?
• RQ4 두 번째 라운드 접근법은 다양한 차원 수와 표본 크기에서 안정적인 성능을 유지하는가?

주요 결과

• 두 번째 라운드 EM 변형은 표준 EM보다 평균적으로 약 50% 수준의 반복 횟수 감소로 더 빠른 수렴성을 보였다.
• 기준 데이터셋에서 표준 EM에 비해 무작위 초기화를 사용할 경우, 최종 로그우도 값이 5~15% 향상되었다.
• 작은 초기 서브셋(전체 데이터의 10~20%)을 사용함으로써 총 계산 시간이 30~40% 감소했으며, 정확도는 유지되거나 향상되었다.
• 알고리즘이 다양한 차원 수와 표본 크기에서 일관된 성능을 보였으며, 초기화에 대해 거의 민감하지 않았다.