[논문 리뷰] Statistical guarantees for the EM algorithm: From population to sample-based analysis

Sivaraman Balakrishnan, Martin J. Wainwright외 1명|arXiv (Cornell University)|2014. 08. 09.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 35

한 줄 요약

이 논문은 EM 및 경사 EM 알고리즘에 대한 비점점 통계적 보장을 수립하며, 무한한 데이터(모집단 수준)와 유한한 표본 수준에서의 동작을 분석한다. 적절한 초기화 조건 하에서, 두 알고리즘이 미미한 단계 수 내에 최대우도추정량(MLE)의 이웃으로 수렴함을 보이며, 높은 확률로 성립한다. 이는 혼합 모델과 누락 데이터가 있는 회귀 모델에서의 경험적 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

We develop a general framework for proving rigorous guarantees on the performance of the EM algorithm and a variant known as gradient EM. Our analysis is divided into two parts: a treatment of these algorithms at the population level (in the limit of infinite data), followed by results that apply to updates based on a finite set of samples. First, we characterize the domain of attraction of any global maximizer of the population likelihood. This characterization is based on a novel view of the EM updates as a perturbed form of likelihood ascent, or in parallel, of the gradient EM updates as a perturbed form of standard gradient ascent. Leveraging this characterization, we then provide non-asymptotic guarantees on the EM and gradient EM algorithms when applied to a finite set of samples. We develop consequences of our general theory for three canonical examples of incomplete-data problems: mixture of Gaussians, mixture of regressions, and linear regression with covariates missing completely at random. In each case, our theory guarantees that with a suitable initialization, a relatively small number of EM (or gradient EM) steps will yield (with high probability) an estimate that is within statistical error of the MLE. We provide simulations to confirm this theoretically predicted behavior.

연구 동기 및 목표

• EM 알고리즘 적용 분야에서 통계적 보장과 계산적 보장 간 격차를 메우기 위해 엄밀한 유한표본 성능 경계를 제시하는 것.
• EM 및 경사 EM 알고리즘을 모집단 수준(무한한 데이터)과 유한표본 수준(제한된 데이터)에서 분석하는 것.
• 적절한 초기화 조건 하에서 모집단 우도의 전역 최대화자들의 영향 범위를 특성화하는 것.
• 표본 기반 EM 및 경사 EM에 대해 MLE의 통계적 오차 이웃으로의 비점점 수렴을 확립하는 것.
• 세 가지 표준적인 불완전 데이터 모델—정규 혼합 모델, 회귀의 혼합 모델, 누락 공변수를 가진 선형 회귀—에 이론을 검증하는 것.

제안 방법

• EM 및 경사 EM을 각각 우도 상승 및 경사 상승의 변형으로 간주하여 수렴 행동을 분석하는 것.
• 정규성 조건 하에서 MLE 주변에서 EM 및 경사 EM의 수축 행동을 보여주는 모집단 수준 분석을 도입하는 것.
• 확률적 편차 경계를 사용하여 모집단 반복값과 유한표본 표본 기반 반복값을 연결하여, MLE 주변의 ε-구역으로의 수렴을 보장하는 것.
• 고차원 설정에서의 균일 편차를 제어하기 위해 구의 1/2-커버링을 이용한 이산화 추론을 적용하는 것.
• 서브가우시안 및 서브지수 尾 꼬리 경계를 활용하여, 유한표본 환경에서 추정 오차에 대한 높은 확률 경계를 유도하는 것.
• 일반 이론을 적용하여 세 가지 모델—정규 혼합 모델, 회귀의 혼합 모델, 누락 공변수를 가진 선형 회귀—에 대해 구체적인 추론을 도출하는 것.

실험 결과

연구 질문

• RQ1 좋은 초기화 조건이 주어졌을 때, 유한 표본에서 EM 알고리즘이 MLE의 이웃으로 수렴하는 조건은 무엇인가?
• RQ2 수렴 보장 및 표본 효율성 측면에서 경사 EM 변형은 표준 EM보다 어떻게 다른가?
• RQ3 표본 기반 EM 알고리즘의 고정점과 모집단 우도의 전역 최대화자 사이의 관계는 무엇인가?
• RQ4 EM의 모집단 수준 수렴 성질은 어떻게 고차원 설정에서 유한표본 환경으로 확장될 수 있는가?
• RQ5 불완전 데이터 모델에서 EM 및 경사 EM이 통계 정확도를 달성하기 위한 비점점 표본 복잡도 요구 조건은 무엇인가?

주요 결과

• 정규 혼합 모델의 경우, 적절한 초기화 조건 하에서 EM 알고리즘은 높은 확률로 O(log(1/ε)) 단계 내에 MLE 주변의 ε-구역으로 수렴한다.
• 회귀의 혼합 모델에서, 표본 기반 EM 및 경사 EM 알고리즘은 높은 확률로 추정 오차가 O(√(d log(1/δ)/n)) 이하로 제한된다. 여기서 d는 차원 수이고 n은 표본 크기이다.
• 누락 공변수를 가진 선형 회귀의 경우, 이론적으로 경사 EM이 높은 확률로 MLE 주변으로 수렴함을 보장하며, 서브가우시안 노이즈 조건 하에서 오차는 O(√(d/n)) 비례로 스케일링된다.
• 모집단 수준 분석 결과, 우도가 충분히 규칙적이고 초기화가 충분히 가까울 경우, EM 및 경사 EM이 MLE 주변의 구역에서 수축적 행동을 보임을 확인하였다.
• 표본 기반 수렴은 모집단 및 표본 연산자 간의 편차에 대한 확률적 경계를 통해 확립되었으며, 이는 표본 반복값이 높은 확률로 모집단 MLE 주변의 ε-구역에 머무르도록 보장한다.
• 이론적 오차 경계는 시뮬레이션을 통해 확인되었으며, 실질적으로 예측된 수렴 행동과 관측된 행동 간의 일치를 보여주었다.