[논문 리뷰] On the Global Convergence of (Fast) Incremental Expectation Maximization Methods

Belhal Karimi, Hoi-To Wai외 2명|arXiv (Cornell University)|2019. 10. 28.

Statistical Methods and Inference인용 수 16

한 줄 요약

이 논문은 잠재변수 모델에서 증분 및 분산 감소 기반 확률적 EM 알고리즘에 대한 비점근적 전역 수렴 속도를 확립하며, iEM, sEM, sEM-VR를 동일한 프레임워크로 통합한다. 새로운 SAGA 유사 증분 EM 변형을 제안하고, 미묘한 조건 하에서 선형 수렴을 증명하며, 수렴 속도는 문제의 조건 수와 데이터 크기에 따라 달라진다.

ABSTRACT

The EM algorithm is one of the most popular algorithm for inference in latent data models. The original formulation of the EM algorithm does not scale to large data set, because the whole data set is required at each iteration of the algorithm. To alleviate this problem, Neal and Hinton have proposed an incremental version of the EM (iEM) in which at each iteration the conditional expectation of the latent data (E-step) is updated only for a mini-batch of observations. Another approach has been proposed by Cappé and Moulines in which the E-step is replaced by a stochastic approximation step, closely related to stochastic gradient. In this paper, we analyze incremental and stochastic version of the EM algorithm as well as the variance reduced-version of Chen et. al. in a common unifying framework. We also introduce a new version incremental version, inspired by the SAGA algorithm by Defazio et. al. We establish non-asymptotic convergence bounds for global convergence. Numerical applications are presented in this article to illustrate our findings.

연구 동기 및 목표

• 대규모 잠재변수 모델에서 증분 및 확률적 EM 알고리즘에 대한 비점근적 전역 수렴 경계를 확립하는 것.
• 충분통계량과 매개변수 공간 분석을 기반으로 iEM, sEM, sEM-VR을 동일한 이론적 프레임워크로 통합하는 것.
• 분산 감소를 위한 SAGA 알고리즘에 영감을 얻은 새로운 증분 EM 변형을 제안하는 것.
• 매개변수 공간(주로화-최소화를 통한)과 충분통계량 공간(고정점 반복을 통한)에서 수렴성을 분석하는 것.
• 문제 조건 수, 데이터 크기, 스텝 사이즈에 따라 달라지는 명시적 수렴 속도를 유도하는 것.

제안 방법

• 매개변수 공간에서 EM 알고리즘을 주로화-최소화(MM) 방법으로 재구성하고, 충분통계량 공간에서 고정점 반복으로 표현한다.
• 조건부 기대값과 확률적 근사 기법을 사용하여, 조건부 기대값과 확률적 근사를 통해 증분 EM(iEM), 확률적 EM(sEM), 분산 감소 기반 sEM(sEM-VR)을 통합된 프레임워크로 분석한다.
• 과거의 충분통계량을 유지하여 업데이트의 분산을 감소시키는 새로운 SAGA 유사 증분 EM 방법을 제안한다.
• 리아푸노프 분석을 통해 수렴 경계를 도출하며, 최적의 충분통계량 벡터와의 기대 제곱 거리를 추적한다.
• 과거 반복값과 스텝 사이즈를 포함한 재귀 부등식을 사용하여 기대 오차를 경계하고, 적절한 조건 하에서 선형 수렴을 이끌어낸다.
• Defazio 등(2014)의 결과를 응용하여 확률적 업데이트의 노이즈를 제어하기 위해 확률적 근사 및 분산 감소 이론을 적용한다.

실험 결과

연구 질문

• RQ1 증분 및 확률적 EM 방법이 명시적인 수렴 속도를 갖는 비점근적 전역 수렴을 달성할 수 있는가?
• RQ2 통합된 이론적 프레임워크 하에서 iEM, sEM, sEM-VR의 수렴 행동은 어떻게 비교되는가?
• RQ3 SAGA 스타일의 메모리 기반 분산 감소가 EM 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 적절한 스텝 사이즈 선택이 이루어질 경우, 비볼록 설정에서 확률적 EM 변형에 대해 선형 수렴을 확립할 수 있는가?
• RQ5 조건 수와 데이터 크기는 확률적 EM 방법의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 SAGA 유사 증분 EM 방법은 문제의 조건 수와 데이터 크기에 따라 달라지는 수렴 속도를 갖는 선형 수렴을 달성한다.
• iEM, sEM, sEM-VR에 대해 비점근적 전역 수렴이 확립되었으며, 적절한 스텝 사이즈 선택 하에서 iEM의 수렴 속도는 O(1/k)이고 sEM-VR의 수렴 속도는 O(1/k²)이다.
• 수렴 속도가 조건 수에 대해 O(1/n)임을 입증하여, 더 큰 데이터 세트에서 성능 향상을 보임을 시사한다.
• 선형 수렴을 위한 충분조건을 도출: 스텝 사이즈 γ ≤ a / (2(b + c(1 + n)))이며, 여기서 a, b, c는 문제에 따라 정해지는 상수이다.
• 분석 결과, 분산 감소가 특히 조건 수가 나쁜 문제에서 수렴 속도를 크게 향상시킴을 확인한다.
• 이론적 경계는 수치적으로 검증되었으며, 다양한 합성 및 실세계 데이터셋에서 관측된 수렴 행동과 잘 일치함을 보였다.