[논문 리뷰] Statistical Guarantees for Estimating the Centers of a Two-component Gaussian Mixture by EM

Jason M. Klusowski, W. D. Brinda|arXiv (Cornell University)|2016. 08. 07.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 12

한 줄 요약

이 논문은 고차원에서 두 성분으로 이루어진 가우시안 혼합 모형의 중심을 추정할 때 EM 알고리즘에 대한 통계적 보장을 수립한다. 스텐의 보조정리(Stein's Lemma)를 활용하고 진짜 매개변수 주변의 작은 구에서의 영역을 초월해 원점 주변의 구와 반공간의 교차부분으로 수렴 영역(basin of attraction)을 확장함으로써, 신호 대 잡음비(SNR)가 $\sqrt{d\log d}$의 상수배 이상일 경우 스케일된 다변량 정규분포에서의 무작위 초기화가 높은 확률로 성공함을 보여준다. 이는 고차원 가우시안 혼합 모형에서 EM 알고리즘의 실용적 적용 범위를 크게 넓힌다.

ABSTRACT

Recently, a general method for analyzing the statistical accuracy of the EM algorithm has been developed and applied to some simple latent variable models [Balakrishnan et al. 2016]. In that method, the basin of attraction for valid initialization is required to be a ball around the truth. Using Stein's Lemma, we extend these results in the case of estimating the centers of a two-component Gaussian mixture in $d$ dimensions. In particular, we significantly expand the basin of attraction to be the intersection of a half space and a ball around the origin. If the signal-to-noise ratio is at least a constant multiple of $ \sqrt{d\log d} $, we show that a random initialization strategy is feasible.

연구 동기 및 목표

• 고차원 가우시안 혼합 모형에서 진짜 매개변수 주변의 작은 구를 초월해 EM 수렴의 수렴 영역을 확장하는 것.
• 무작위 초기화가 높은 확률로 수렴할 조건을 설정하는 것.
• 이전 결과들이 진짜 매개변수 주변의 작은 유클리드 구 안에 초기화가 필요로 했던 것을 개선하는 것.
• 더 큰, 더 실용적인 영역에 초기화된 경우 표본 EM 반복값에 대한 고확률 오차 경계를 도출하는 것.
• 신호 대 잡음비가 차원에 적절히 스케일링될 경우, 최소한의 사전 지식으로도 고차원 환경에서 EM 알고리즘을 신뢰성 있게 사용할 수 있음을 보여주는 것.

제안 방법

• 저자들은 대칭 평균을 가진 두 성분의 구형 가우시안 혼합 모형에 대해 인구 EM 연산자(population EM operator)를 유도한다.
• 특히, 반공간과 원점 주변의 구의 교차부분인 새로운 영역을 정의하여, 이는 유클리드 구보다 훨씬 큰 수렴 영역이 된다.
• 스텐의 보조정리를 사용하여, 이 영역에서 EM 연산자의 수축 성질을 증명하기 위해 $\|M(\theta) - M(\theta^*)\|$의 차이를 경계한다.
• 표본 EM 연산자가 이 영역에서 인구 연산자에 집중함을 증명함으로써 고확률 오차 경계를 가능하게 한다.
• 신호 대 잡음비가 $\text{SNR} \gtrsim \sqrt{d\log d}$를 만족할 경우, 스케일된 다변량 정규분포에서의 무작위 초기화가 높은 확률로 수렴 영역 내에 존재함을 보여준다.
• 모멘트 생성 함수 경계와 집중 부등식을 활용하여 표본 통계량이 기대값에서 벗어나지 않도록 제어한다.

실험 결과

연구 질문

• RQ1 고차원 가우시안 혼합 모형에서 EM 알고리즘의 수렴 영역을 진짜 매개변수 주변의 작은 이웃 영역을 초월해 확장할 수 있는가?
• RQ2 고차원에서 무작위 초기화가 높은 확률로 수렴하기 위한 조건으로서의 신호 대 잡음비 조건은 무엇인가?
• RQ3 스텐의 보조정리는 비대칭 영역에서 EM 연산자의 수축 성질을 어떻게 확립하는 데 사용될 수 있는가?
• RQ4 무작위 초기화가 작은 유클리드 구 외부에 위치할 경우에도 EM에 대한 고확률 오차 경계를 유도할 수 있는가?
• RQ5 고차원 두 성분 가우시안 혼합 모형에서 무작위 초기화가 성공하기 위한 최소한의 신호 대 잡음비는 얼마인가?

주요 결과

• EM 알고리즘의 수렴 영역이 원점 주변의 구와 반공간의 교차부분으로 확장되어, 유효한 초기화 집합이 크게 증가한다.
• 신호 대 잡음비가 $\sqrt{d\log d}$의 상수배 이상일 경우, 스케일된 다변량 정규분포에서의 무작위 초기화가 높은 확률로 성공한다.
• 제안된 영역에서 EM 연산자는 수축적이며, 적절한 조건 하에 참값으로 수렴함을 보장한다.
• 표본 EM 반복값에 대한 고확률 오차 경계가 도출되었으며, 조건이 충족될 경우 오차는 $\tilde{O}(\sqrt{d/n})$로 감소한다.
• 스텐의 보조정리를 사용하여 $\|M(\theta) - M(\theta^*)\|$에 대한 경계를 통해 수축 성질이 확립되었으며, 이는 고차원에서 연산자의 행동을 제어한다.
• 분석 결과, 차원에 적절히 스케일링되는 신호 대 잡음비를 확보할 경우, 최소한의 사전 지식으로도 고차원 환경에서 EM 알고리즘을 신뢰성 있게 사용할 수 있음을 보여준다.