[논문 리뷰] Ten Steps of EM Suffice for Mixtures of Two Gaussians

Constantinos Daskalakis, Christos Tzamos외 1명|arXiv (Cornell University)|2016. 09. 01.

Bayesian Methods and Mixture Models참고 문헌 26인용 수 29

한 줄 요약

이 논문은 공분산 행렬이 알려져 있고 동일한 두 정규분포 혼합 모델에서 기대최대화(EM) 알고리즘에 대한 처음으로 전역 수렴 보장을 제공한다. 한 차원에서 무한대에서 초기화된 인구 EM의 10회 반복이 진짜 평균으로 기하급수적으로 수렴하며 오차가 1% 이하가 되며, 마할라노비스 거리 기준 $\epsilon$-정확도 추정에 대해 $\tilde{O}(d/\epsilon^2)$의 유한 샘플 샘플 복잡도를 확립한다.

ABSTRACT

The Expectation-Maximization (EM) algorithm is a widely used method for maximum likelihood estimation in models with latent variables. For estimating mixtures of Gaussians, its iteration can be viewed as a soft version of the k-means clustering algorithm. Despite its wide use and applications, there are essentially no known convergence guarantees for this method. We provide global convergence guarantees for mixtures of two Gaussians with known covariance matrices. We show that the population version of EM, where the algorithm is given access to infinitely many samples from the mixture, converges geometrically to the correct mean vectors, and provide simple, closed-form expressions for the convergence rate. As a simple illustration, we show that, in one dimension, ten steps of the EM algorithm initialized at infinity result in less than 1\% error estimation of the means. In the finite sample regime, we show that, under a random initialization, $ ilde{O}(d/ε^2)$ samples suffice to compute the unknown vectors to within $ε$ in Mahalanobis distance, where $d$ is the dimension. In particular, the error rate of the EM based estimator is $ ilde{O}\left(\sqrt{d \over n} ight)$ where $n$ is the number of samples, which is optimal up to logarithmic factors.

연구 동기 및 목표

• 비볼록 우도 최적화에서 EM에 대한 이론적 수렴 보장의 부족을 해결하기 위해.
• 공분산이 알려진 균형 잡힌 두 정규분포 혼합 모델에서 EM 수렴을 분석하기 위해.
• 무한 샘플인 인구 버전과 유한 샘플 설정 모두에서 전역 수렴을 확립하기 위해.
• 마할라노비스 거리 기준으로 미지의 평균을 $\epsilon$ 오차 이내로 추정하기 위한 날카운 샘플 복잡도 한계를 유도하기 위해.
• 유한 샘플 설정에서 EM이 로그 인자까지 최적의 오차율을 달성하는지 보여주기 위해.

제안 방법

• 모수 $\bm{\mu}$에 대해 재매개변수화된 모형 $p_{\bm{\mu}}(\bm{x}) = 0.5\mathcal{N}(\bm{x}; \bm{\mu}, \Sigma) + 0.5\mathcal{N}(\bm{x}; -\bm{\mu}, \Sigma)$ 하에서 인구 EM 알고리즘을 분석하며, 여기서 $\bm{\mu}$는 미지의 평균 벡터이다.
• EM 업데이트의 닫힌 형태 표현식을 유도한다: $\bm{\lambda}^{(t+1)} = \mathbb{E}_{\bm{x} \sim p_{\bm{\mu}}}\left[ \frac{0.5\mathcal{N}(\bm{x}; \bm{\lambda}^{(t)}, \Sigma)}{p_{\bm{\lambda}^{(t)}}(\bm{x})} \bm{x} \right] \Big/ \mathbb{E}_{\bm{x} \sim p_{\bm{\mu}}}\left[ \frac{0.5\mathcal{N}(\bm{x}; \bm{\lambda}^{(t)}, \Sigma)}{p_{\bm{\lambda}^{(t)}}(\bm{x})} \right]$, 이를 통해 기하급수 수렴 분석이 가능해진다.
• 유한 샘플 설정에서의 표본 오차를 제어하기 위해 중심경향성 부등식과 순간 한계를 사용하며, 특히 경험 기대값이 진짜 값에서 벗어나지 않도록 제한한다.
• 서브가우시안 尾부 경계와 초수렴성(supercontractivity)을 적용하여 가우시안 혼합 모델 하에서 $\tanh(\lambda x)$의 행동을 분석하고, 추정 오차의 고확률 제어를 가능하게 한다.
• 수축 부등식을 증명하여 $\|\tilde{\bm{\lambda}}^{(t+1)} - \bm{\mu}\|_{\Sigma} \leq \max(e^{-\mu^2/10}, 9/10) \|\tilde{\bm{\lambda}}^{(t)} - \bm{\mu}\|_{\Sigma} + 2\varepsilon\mu^2$를 도출함으로써 기하급수 수렴을 입증한다.
• 수축 결과를 샘플 복잡도 분석과 결합하여 마할라노비스 거리 기준으로 $\epsilon$-정확도 추정에 $\tilde{O}(d/\epsilon^2)$개의 샘플이 충분함을 보여준다.

실험 결과

연구 질문

• RQ1 공분산이 알려진 두 정규분포 혼합 모델에서 EM이 진짜 매개변수로 전역 수렴하는가?
• RQ2 평균 추정에서 $\epsilon$-정확도를 달성하기 위해 몇 번의 EM 반복이 필요한가?
• RQ3 이 설정에서 EM 기반 추정에 대해 최적의 샘플 복잡도는 무엇인가?
• RQ4 유한 샘플 오차를 고확률적으로 제한할 수 있으며, 그 비율은 무엇인가?
• RQ5 샘플 크기에서 로그 인자까지 최적의 오차율을 EM이 달성하는가?

주요 결과

• 한 차원에서 무한대에서 초기화된 인구 EM의 10회 반복이 두 정규분포 혼합 모델에서 평균 추정 오차가 1% 이하가 된다.
• 인구 EM 알고리즘은 진짜 평균 벡터로 기하급수적으로 수렴하며, 마할라노비스 거리에 따라 닫힌 형태의 수렴 속도를 갖는다.
• 유한 샘플 설정에서 마할라노비스 거리 기준으로 $\epsilon$ 오차 이내로 unknown 평균 벡터를 추정하기 위해 $\tilde{O}(d/\epsilon^2)$개의 샘플이 충분하다.
• EM 기반 추정기의 오차율은 $\tilde{O}(\sqrt{d/n})$이며, 샘플 크기 $n$에서 로그 인자까지 최적이다.
• 성분이 충분히 분리되어 있을 경우 수렴 속도가 $\max(e^{-\mu^2/10}, 9/10)$인 기하급수 수렴을 달성하여 빠른 수렴을 보장한다.
• 가우시안 혼합 모델 하에서 $\tanh(\lambda x)$의 농도를 중심으로 한 확률적 제약을 통해 유한 샘플 분석이 가능한 고확률 오차 제약을 확립하였다.