[논문 리뷰] Convergence of the EM Algorithm for Gaussian Mixtures with Unbalanced Mixing Coefficients

Iftekhar Naim, Daniel Gildea|arXiv (Cornell University)|2012. 06. 27.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 36

한 줄 요약

이 논문은 혼합 비율 계수의 균형이 깨진 경우 가우시안 혼합 모델에서 EM 알고리즘의 느린 수렴 문제를 조사한다. 구성 요소 가중치를 최적화 과정 중에 조정함으로써 수렴 속도를 향상시키는 결정론적 반냉각 방법을 제안하며, 표준 EM, BFGS, 공액 기울기 방법보다 뛰어난 성능을 보이며, 디리클레 과정 혼합 모델에도 확장되어 변분 베이지안 방법보다 향상된 성능을 보인다.

ABSTRACT

The speed of convergence of the Expectation Maximization (EM) algorithm for Gaussian mixture model fitting is known to be dependent on the amount of overlap among the mixture components. In this paper, we study the impact of mixing coefficients on the convergence of EM. We show that when the mixture components exhibit some overlap, the convergence of EM becomes slower as the dynamic range among the mixing coefficients increases. We propose a deterministic anti-annealing algorithm, that significantly improves the speed of convergence of EM for such mixtures with unbalanced mixing coefficients. The proposed algorithm is compared against other standard optimization techniques like BFGS, Conjugate Gradient, and the traditional EM algorithm. Finally, we propose a similar deterministic anti-annealing based algorithm for the Dirichlet process mixture model and demonstrate its advantages over the conventional variational Bayesian approach.

연구 동기 및 목표

• 비균형적인 혼합 비율 계수의 영향이 가우시안 혼합 모델에서의 EM 알고리즘 수렴 속도에 어떻게 작용하는지 분석하는 것.
• 혼합 성분의 혼합 비율 계수의 다이나믹 레인지가 크면 수렴 속도가 느려지는 문제에 대처하는 것.
• 비균형 혼합 모델에 대해 EM 수렴을 향상시키는 결정론적 반냉각 알고리즘을 개발하는 것.
• 반냉각 접근법을 디리클레 과정 혼합 모델에 확장하고, 변분 베이지안 추론과 비교하는 것.

제안 방법

• EM 반복 과정 중 혼합 비율 계수를 체계적으로 조정함으로써 수렴 시간을 단축시키는 결정론적 반냉각 알고리즘을 제안한다.
• 최적화 초반에 미흡하게 표현된 성분의 영향을 증가시키기 위한 가중치 재가중 전략을 도입한다.
• 반냉각 메커니즘을 표준 가우시안 혼합 모델과 디리클레 과정 혼합 모델 양쪽에 적용한다.
• 확률적 샘플링 없이 기울기 기반 최적화 프레임워크를 활용하여 재가중 과정을 이끌어낸다.
• 제안된 방법을 표준 EM, BFGS, 공액 기울기, 변분 베이지안 추론과 비교한다.
• 합성 데이터와 실제 데이터를 이용한 경험적 평가를 통해 수렴 속도와 모델 적합도를 검증한다.

실험 결과

연구 질문

• RQ1 혼합 비율 계수의 다이나믹 레인지가 가우시안 혼합 모델에서의 EM 수렴에 어떻게 영향을 미치는가?
• RQ2 결정론적 재가중 전략이 비균형 혼합 모델에서의 EM 수렴 속도를 향상시킬 수 있는가?
• RQ3 반냉각 방법은 BFGS와 공액 기울기와 같은 표준 최적화 기법보다 어떻게 비교되는가?
• RQ4 반냉각 원리는 디리클레 과정 혼합 모델과 같은 비모수적 모델로 확장될 수 있는가?
• RQ5 제안된 방법은 수렴성과 정확도 측면에서 변분 베이지안 추론보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 혼합 비율 계수의 다이나믹 레인지가 커질수록 EM 알고리즘이 더 느리게 수렴하며, 특히 성분들이 겹칠 경우 더욱 심해진다.
• 제안된 반냉각 알고리즘이 표준 EM, BFGS, 공액 기울기 방법보다 수렴 속도를 크게 향상시킨다.
• 특히 구성 요소 가중치의 균형이 깨진 경우에 모델 적합도를 훼손하지 않으면서도 더 빠른 수렴을 달성한다.
• 반냉각 접근법은 전통적인 변분 베이지안 접근법보다 디리클레 과정 혼합 모델에서 성능을 향상시킨다.
• 경험적 결과는 비균형 혼합 모델을 가진 여러 합성 및 실세계 데이터셋에서 일관된 속도 향상을 보여준다.