[논문 리뷰] Singularity, Misspecification, and the Convergence Rate of EM

Raaz Dwivedi, Nhat Ho외 4명|arXiv (Cornell University)|2018. 10. 01.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 15

한 줄 요약

이 논문은 과도하게 특정된 가우시안 혼합 모형에서 기대값 최대화(EM) 알고리즘의 수렴 행동을 분석한다. 여기서 적합된 성분 수가 진짜 수보다 많다. 연구는 뚜렷한 이원성(dichotomy)을 드러낸다: 비균형 혼합 모형에서는 EM이 기하급수적으로 수렴하며, 진짜 매개수와의 유클리드 거리가 $\mathcal{O}((d/n)^{1/2})$ 이내의 점으로 수렴하는 반면, 균형 잡힌 혼합 모형—여기서 피셔 정보 행렬이 특이해지는 경우—에서는 수렴 속도가 느려져 $\mathcal{O}((d/n)^{1/4})$ 수준이 되며, 이는 모형 오특정 시 비점근적 최대우도추정기(MLE)의 수렴 속도와 일치한다.

ABSTRACT

A line of recent work has analyzed the behavior of the Expectation-Maximization (EM) algorithm in the well-specified setting, in which the population likelihood is locally strongly concave around its maximizing argument. Examples include suitably separated Gaussian mixture models and mixtures of linear regressions. We consider over-specified settings in which the number of fitted components is larger than the number of components in the true distribution. Such misspecified settings can lead to singularity in the Fisher information matrix, and moreover, the maximum likelihood estimator based on $n$ i.i.d. samples in $d$ dimensions can have a non-standard $\mathcal{O}((d/n)^{\frac{1}{4}})$ rate of convergence. Focusing on the simple setting of two-component mixtures fit to a $d$-dimensional Gaussian distribution, we study the behavior of the EM algorithm both when the mixture weights are different (unbalanced case), and are equal (balanced case). Our analysis reveals a sharp distinction between these two cases: in the former, the EM algorithm converges geometrically to a point at Euclidean distance of $\mathcal{O}((d/n)^{\frac{1}{2}})$ from the true parameter, whereas in the latter case, the convergence rate is exponentially slower, and the fixed point has a much lower $\mathcal{O}((d/n)^{\frac{1}{4}})$ accuracy. Analysis of this singular case requires the introduction of some novel techniques: in particular, we make use of a careful form of localization in the associated empirical process, and develop a recursive argument to progressively sharpen the statistical rate.

연구 동기 및 목표

• 과도하게 특정된 혼합 모형을 적합할 때 EM 알고리즘의 계산적 및 통계적 행동을 이해하는 것.
• 피셔 정보 행렬의 특이성이 고차원 설정에서 수렴 속도에 미치는 영향을 조사하는 것.
• 균형 잡힌 두 성분 가우시안 혼합 모형과 비균형 잡힌 두 성분 가우시안 혼합 모형 간의 수렴 행동의 근본적 차이를 규명하는 것.
• 특히 특이한 경우를 포함한 과도하게 특정된 상황에서 EM의 비점근적 수렴 보장을 확립하는 것.
• 비표준 수렴 영역을 다루기 위해 국소화 기법과 재귀적 속도 정밀화 기법을 포함한 새로운 분석 기법을 개발하는 것.

제안 방법

• 진짜 하나의 성분을 가진 가우시안 분포에서 유래된 데이터에 대해 두 성분 가우시안 혼합 모형을 적합하는 인구 EM 연산자(population EM operator)를 분석한다.
• 정규직교 회전을 통해 일변도 문제로 변환하고 테일러 전개를 사용하여 인구 EM 연산자 $\overline{M}(\theta)$ 의 경계를 유도한다.
• 매개수 공간에서 링형 영역(annuli)을 기반으로 한 국소화 논증을 적용하여 점진적으로 수렴 속도를 정밀화한다.
• 인구 EM의 비기하급수적 수렴을 이용해 표본 EM의 비점근적 수렴 속도를 유도한다.
• 집중 부등식과 경험 과정 이론을 활용하여 경험 연산자와 인구 연산자 간의 이탈을 통제한다.
• 재귀적 논증을 도입하여 통계적 속도를 $\mathcal{O}((d/n)^{1/4})$ 에서 최적의 비점근적 경계로 정밀화한다.

실험 결과

연구 질문

• RQ1 단일 성분 가우시안 분포에서 유래된 데이터에 대해 두 성분 가우시안 혼합 모형을 적합할 때 EM 알고리즘이 어떻게 행동하는가?
• RQ2 혼합 모형의 균형(동일한 가중치 대 비동일한 가중치)이 과도하게 특정된 설정에서 EM의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 왜 균형 잡힌 경우에서 수렴 속도가 $\mathcal{O}((d/n)^{1/4})$ 수준으로 떨어지며, 이는 피셔 정보 행렬의 특이성과 어떻게 관련되어 있는가?
• RQ4 새로운 국소화 및 재귀적 기법이 모형 오특정 시 EM의 비점근적 수렴 분석을 향상시킬 수 있는가?
• RQ5 혼합 모형에서 잘 지정된 경우와 과도하게 특정된 특이한 경우 간의 수렴 행동의 근본적 차이는 무엇인가?

주요 결과

• 비균형 케이스에서는 EM이 기하급수적으로 수렴하며, 진짜 매개수와의 유클리드 거리가 $\mathcal{O}((d/n)^{1/2})$ 이내의 점으로 수렴한다.
• 균형 케이스에서는 EM의 수렴 속도가 기하급수적으로 느려지며, 피셔 정보 행렬의 특이성으로 인해 오직 $\mathcal{O}((d/n)^{1/4})$ 정도의 정확도에 도달한다.
• 인구 EM 연산자는 $\|\theta\|_2 \leq 1/2$ 인 경우 $\|\overline{M}(\theta)\|_2 \in \left[\|\theta\|_2(1 - 3\|\theta\|_2^2), \|\theta\|_2(1 - 2\|\theta\|_2^2)\right]$ 를 만족하며, 이는 원점 근처에서 수축 속도가 느리다는 것을 나타낸다.
• 적절한 표본 크기 $n \geq c'_1 d \log(\log(1/\epsilon)/\delta)$ 를 만족할 경우, 표본 EM 알고리즘은 고확률적으로 $\mathcal{O}((d/n)^{1/4 - \epsilon})$ 수렴 속도를 달성한다.
• 분석을 통해 $\mathcal{O}((d/n)^{1/4})$ 수렴 속도가 날카롭게 조건이 되며, 과도하게 특정된 상황에서 MLE의 알려진 비점근적 수렴 속도와 일치함을 입증한다.
• 특이한 피셔 정보 행렬이 초래하는 과제를 극복하기 위해 점진적으로 통계적 속도를 정밀화하는 새로운 재귀적 국소화 논증이 개발되었다.