[논문 리뷰] Statistical Convergence of the EM Algorithm on Gaussian Mixture Models

Ruofei Zhao, Yuanzhi Li외 1명|arXiv (Cornell University)|2018. 10. 09.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 13

한 줄 요약

이 논문은 임의의 수의 성분을 가진 가우시안 혼합 모델에서 EM 알고리즘이 전역 최적해로 수렴할 조건을 규명한다. 성분 평균들이 적어도 $Ω(\sqrt{\min\{M,d\}})$ 이상으로 분리되어 있을 경우 선형 수렴성을 증명하며, 진짜 매개변수 주변의 안정성 영역을 규명한다.

ABSTRACT

We study the convergence behavior of the Expectation Maximization (EM) algorithm on Gaussian mixture models with an arbitrary number of mixture components and mixing weights. We show that as long as the means of the components are separated by at least $Ω(\sqrt{\min\{M,d\}})$, where $M$ is the number of components and $d$ is the dimension, the EM algorithm converges locally to the global optimum of the log-likelihood. Further, we show that the convergence rate is linear and characterize the size of the basin of attraction to the global optimum.

연구 동기 및 목표

• 두 개 이상의 성분을 가진 가우시안 혼합 모델에 대한 EM 수렴 이론적 이해의 격차를 메우기 위해.
• EM이 局부 최소화자가 아니라 전역 최적해로 수렴할 조건을 규명하기 위해.
• 고차원 설정에서 전역 최적해의 안정성 영역 크기를 규명하기 위해.
• 균일하지 않은 혼합 비율을 가진 임의의 수의 성분으로 이전 결과를 일반화하기 위해.

제안 방법

• 이dealized 조건 하에서 수렴 행동을 분석하기 위해 인구 수준의 EM 알고리즘을 분석한다.
• 가우시안 혼합 모델의 EM 업데이트 규칙을 분석하기 위해 주요화-최소화 프레임워크를 사용한다.
• 표본 통계량과 기대 통계량 간의 편차를 제어하기 위해 농도 부등식과 유니온 바운드를 적용한다.
• 매개변수 공간 전체에서 가중치 함수의 Supremum 편차를 유계하기 위해 거리 엔트로피와 커버링 추론을 활용한다.
• E단계에서 추정 오차를 제어하기 위해 가중치 함수의 서브-가우시안 노름에 대한 유계를 유도한다.
• 표본 과정에 대한 확률적 유계와 평균값 정리 추정을 조합하여 EM 업데이트의 안정성을 제어한다.

실험 결과

연구 질문

• RQ1 성분 수가 두 개 초과인 가우시안 혼합 모델에서 EM 알고리즘이 전역 최적해로 수렴할 조건은 무엇인가?
• RQ2 EM의 전역 수렴을 보장하기 위해 성분 평균들 사이에 필요한 최소 거리는 얼마인가?
• RQ3 고차원 설정에서 전역 최적해의 안정성 영역은 얼마나 큰가?
• RQ4 진짜 매개변수 근처에서 초기화되었을 때 EM 알고리즘이 선형 수렴을 보이는가?
• RQ5 임의의 혼합 비율과 성분 수에 대해 수렴 행동을 규명할 수 있는가?

주요 결과

• 성분 평균들이 적어도 $Ω(\sqrt{\min\{M,d\}})$ 이상으로 분리되어 있을 경우, EM 알고리즘은 전역 최적해로 선형 수렴한다.
• 전역 최적해의 안정성 영역 크기는 성분 평균 간의 분리 정도로 규명된다.
• 임의의 수의 성분과 임의의 혼합 비율에 대해 수렴이 성립한다.
• 거리 엔트로피와 농도를 활용하여 매개변수 이웃 영역에서 표본 가중치의 고확률 균일 제어를 확립한다.
• 제시된 분리 조건 하에서 고차원 설정에서도 수렴 속도는 선형이다.
• 이전의 이원 성분 혼합 모델에 대한 결과를 비균일 혼합 비율을 가진 일반적인 M성분 모델로 확장한다.