[논문 리뷰] Global Analysis of Expectation Maximization for Mixtures of Two Gaussians

Ji Xu, Daniel Hsu외 1명|arXiv (Cornell University)|2016. 01. 01.

Gaussian Processes and Bayesian Inference인용 수 54

한 줄 요약

이 논문은 두 개의 가우시안 혼합 모델을 학습하기 위한 기대값 최대화(EM) 알고리즘의 전역 수렴 분석을 제공한다. 무한 표본 근사에서 EM을 분석함으로써, 최종 매개변수 추정치를 초기 조건에 따라 특성화하고 통계적 일致성을 입증하여, 미묘한 조건 하에서 EM이 진정한 매개변수로 전역 수렴할 수 있음을 보여준다.

ABSTRACT

Expectation Maximization (EM) is among the most popular algorithms for estimating parameters of statistical models. However, EM, which is an iterative algorithm based on the maximum likelihood principle, is generally only guaranteed to find stationary points of the likelihood objective, and these points may be far from any maximizer. This article addresses this disconnect between the statistical principles behind EM and its algorithmic properties. Specifically, it provides a global analysis of EM for specific models in which the observations comprise an i.i.d. sample from a mixture of two Gaussians. This is achieved by (i) studying the sequence of parameters from idealized execution of EM in the infinite sample limit, and fully characterizing the limit points of the sequence in terms of the initial parameters; and then (ii) based on this convergence analysis, establishing statistical consistency (or lack thereof) for the actual sequence of parameters produced by EM.

연구 동기 및 목표

• EM의 통계적 원리와 알고리즘적 행동 간 격차를 해소하기 위해, 특히 낮은 정류점으로 수렴하는 경향을 다루기 위해.
• 잠재 변수 추정의 표준 모델인 두 가우시안 혼합 모델에 대해 EM의 무한 표본 근사에서의 전역 행동을 분석하기 위해.
• 초기 매개변수 값에 대한 함수로서 EM의 매개변수 수열의 극한 점을 특성화하기 위해.
• EM의 수렴 행동을 진정한 기저 매개변수와 연결하여, EM의 통계적 일치성을 확립하기 위해.
• 지역 수렴 보장만 있는 바이어스에도 불구하고, EM이 가우시안 혼합 모델에서 경험적으로 성공할 수 있는 이론적 근거를 제공하기 위해.

제안 방법

• 무한 표본 근사에서 이상화된 EM 알고리즘을 분석하여, 표본 분포를 진정한 분포로 간주한다.
• 한계에서 EM의 고정점 방정식을 유도하여, 매개변수 추정치 수열이 극한 점으로 수렴하는 방식을 보여준다.
• 기하학적 및 분석적 기법을 사용하여, 초기 매개변수 값에 대한 함수로서 EM의 극한 점을 특성화한다.
• EM이 국소 최대화자 대신 전역 최대화자로 수렴할 조건을 확립한다.
• 무한 표본 근사를 통해 통계적 일치성을 도출하여, EM의 출력이 점차적으로 진정한 매개변수에 수렴함을 보여준다.
• 최적화 이론 및 확률론 도구를 적용하여, 이 특정 모델에서 EM의 수렴 지형을 분석한다.

실험 결과

연구 질문

• RQ1 두 가우시안 혼합 모델에 대한 EM이 어떤 조건에서 가능성을 전역 최대화자로 수렴하는가?
• RQ2 무한 표본 영역에서 초기 매개변수 값은 EM이 도출하는 최종 추정치에 어떻게 영향을 미치는가?
• RQ3 EM이 국소 정류점으로 수렴할 뿐만 아니라, 가우시안 혼합 모델에서 통계적으로 일치할 수 있는가?
• RQ4 두 성분으로 이루어진 가우시안 혼합 모델에서 EM의 극한 점과 진정한 기저 매개변수 사이의 관계는 무엇인가?
• RQ5 EM의 무한 표본 근사는 일致한 매개변수 추정치를 도출하는가? 만약 그렇다면 어떤 조건에서인가?

주요 결과

• 초기 조건이 진리에서 멀리 떨어져 있더라도, 미묘한 조건 하에서 두 가우시안 혼합 모델에 대한 EM은 진정한 매개변수로 전역 수렴한다.
• EM의 극한 점은 초기 매개변수 값에 의해 완전히 결정되며, 이 모델에서는 낮은 국소 최대화자를 피할 수 있다.
• 무한 표본 근사에서, 초기 조건이 충분히 정보가 있다면 EM은 진정한 혼합 매개변수에 해당하는 고정점으로 수렴한다.
• 분석 결과, EM은 이 모델에서 통계적으로 일치함을 보여주며, 추정된 매개변수들이 확률적으로 진정한 매개변수로 수렴함을 의미한다.
• 수렴 행동은 기하학적으로 특성화된다: 극한은 초기 매개변수와 진정한 매개변수 간의 상대적 위치에 따라 달라진다.
• 이 논문은 EM이 이 설정에서 가능성을 전역적으로 최적화할 수 있음을 입증하여, 낮은 국소 최적점에 갇힐 가능성이 있다는 우려를 해결한다.