[논문 리뷰] Challenges with EM in application to weakly identifiable mixture models.

Raaz Dwivedi, Nhat Ho외 4명|arXiv (Cornell University)|2019. 02. 01.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 6

한 줄 요약

이 논문은 최대우도 추정치가 하위 $n^{-1/2}$ 정확도를 보일 때, 약하게 식별 가능한 위치-스케일 혼합 모형에서 기대치의 최대화(EM) 알고리즘의 천천한 수렴을 조사한다. 분석적으로 EM 수렴 속도를 규명하여, 단변량 경우는 $n^{3/4}$ 단계, 다변량 설정에서는 $(n/d)^{1/2}$ 단계로 나타내며, 위치와 스케일에 대한 매개변수 추정 오차는 각각 $n^{-1/8}$ 및 $n^{-1/4}$의 주기로 나타난다.

ABSTRACT

We study a class of weakly identifiable location-scale mixture models for which the maximum likelihood estimates based on $n$ i.i.d. samples are known to have lower accuracy than the classical $n^{- \frac{1}{2}}$ error. We investigate whether the Expectation-Maximization (EM) algorithm also converges slowly for these models. We first demonstrate via simulation studies a broad range of over-specified mixture models for which the EM algorithm converges very slowly, both in one and higher dimensions. We provide a complete analytical characterization of this behavior for fitting data generated from a multivariate standard normal distribution using two-component Gaussian mixture with varying location and scale parameters. Our results reveal distinct regimes in the convergence behavior of EM as a function of the dimension $d$. In the multivariate setting ($d \geq 2$), when the covariance matrix is constrained to a multiple of the identity matrix, the EM algorithm converges in order $(n/d)^{\frac{1}{2}}$ steps and returns estimates that are at a Euclidean distance of order ${(n/d)^{-\frac{1}{4}}}$ and ${ (n d)^{- \frac{1}{2}}}$ from the true location and scale parameter respectively. On the other hand, in the univariate setting ($d = 1$), the EM algorithm converges in order $n^{\frac{3}{4} }$ steps and returns estimates that are at a Euclidean distance of order ${ n^{- \frac{1}{8}}}$ and ${ n^{-\frac{1} {4}}}$ from the true location and scale parameter respectively. Establishing the slow rates in the univariate setting requires a novel localization argument with two stages, with each stage involving an epoch-based argument applied to a different surrogate EM operator at the population level. We also show multivariate ($d \geq 2$) examples, involving more general covariance matrices, that exhibit the same slow rates as the univariate case.

연구 동기 및 목표

• 최대우도 추정치가 하위 $n^{-1/2}$ 정확도를 보이는 약하게 식별 가능한 혼합 모형에서 EM이 천천히 수렴하는 이유를 이해하는 것.
• 다양한 매개변수를 가진 단변량 및 다변량 정규 위치-스케일 혼합 모형에서 EM 수렴 행동을 분석하는 것.
• 특히 진짜 데이터 생성 분포가 표준 정규분포일 때, 과다스펙트라이제이션 모델 하에서 EM의 수렴 속도와 추정 오차를 특성화하는 것.
• 단변량 경우의 인구 수준 EM 연산자에 대해 에포크 기반 분석을 활용한 새로운 이중단계 국소화 접근법을 수립하는 것.

제안 방법

• 과다스펙트라이제이션된 이원소 정규 혼합 모형에 대한 시뮬레이션 연구를 통해 단변량 및 고차원에서의 천천한 EM 수렴을 시연한다.
• 정규 분포 데이터에 대해 두 개의 정규 혼합 모형을 이용하고, 공분산 행렬이 항등행렬이 되는 조건을 적용하여 분석적 특성화를 수행한다.
• 단변량 경우를 다루기 위해, 인구 수준에서의 별도의 대체 EM 연산자에 대한 에포크 기반 분석을 활용한 이중단계 국소화 접근법을 개발한다.
• 일반 공분산 행렬을 가진 다변량 설정으로 분석을 확장하여, 단변량 경우와 유사한 천천한 수렴 속도를 보임을 보여준다.
• 증가하는 표본 크기 $n$과 차원 $d$ 하에서 渐近 분석을 통해 수렴 속도와 추정 오차를 유도하며, $n$과 $d$에 대한 명시적 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 약하게 식별 가능한 혼합 모형에서 최대우도 추정치의 정확도가 하위 $n^{-1/2}$일 때, EM 알고리즘의 수렴 속도는 어떻게 행동하는가?
• RQ2 이원소 정규 혼합 모형에서 단변량과 다변량 설정에서 EM의 정확한 수렴 속도는 무엇인가?
• RQ3 EM이 단변량 경우에 천천히 수렴하는 이유는 무엇이며, 이는 새로운 분석적 프레임워크로 설명될 수 있는가?
• RQ4 다변량 모형에서 공분산 행렬이 항등행렬의 배수로 제한되지 않을 경우, 천천한 수렴 속도가 유지되는가?
• RQ5 일반 공분산 행렬을 가진 다변량 모형에서도 동일한 천천한 속도를 관찰할 수 있는가?

주요 결과

• 단변량 설정($d = 1$)에서는 EM 알고리즘이 $n^{3/4}$ 단계 내에 수렴하며, 위치 매개변수의 추정 오차는 $n^{-1/8}$ 주기, 스케일 매개변수의 추정 오차는 $n^{-1/4}$ 주기이다.
• 다변량 설정($d \to \text{dim} \to \text{infty}$)에서는 공분산이 항등행렬의 배수로 제약될 때, EM은 $(n/d)^{1/2}$ 단계 내에 수렴하며, 위치의 추정 오차는 $(n/d)^{-1/4}$ 주기, 스케일의 추정 오차는 $(n d)^{-1/2}$ 주기이다.
• 단변량 경우의 천천한 수렴은 인구 수준에서의 대체 EM 연산자에 대한 에포크 기반 분석을 포함하는 새로운 이중단계 국소화 접근법으로 설명된다.
• 일반 공분산 행렬을 가진 다변량 모형 역시 단변량 경우와 동일한 천천한 수렴 속도를 보이며, 이는 현상이 항등 공분산 행렬의 구조에 국한되지 않음을 시사한다.
• 결과적으로 EM이 과다스펙트라이제이션된 모형에서도 약하게 식별 가능한 모형에서는 고전적인 $n^{-1/2}$ 수렴 속도를 달성하지 못함을 보여준다.
• 이 연구는 EM의 수렴 행동이 혼합 모형의 매개변수 공간 기하학과 식별 가능성 구조에 본질적으로 연결되어 있음을 입증한다.