[논문 리뷰] Sharp Analysis of Expectation-Maximization for Weakly Identifiable Models

Raaz Dwivedi, Nhat Ho외 4명|arXiv (Cornell University)|2019. 02. 01.

Bayesian Methods and Mixture Models인용 수 10

한 줄 요약

이 논문은 로그우도의 대수적 의존성으로 인해 표준 통계적 속도가 약화되는 약하게 식별 가능한 가우시안 위치-스케일 혼합 모형에 대해 기대값-최대화(EM) 알고리즘의 날카운 분석을 제공한다. EM은 $ n^{3/4} $ 단계 내에 수렴하며, 참값으로부터의 유클리드 거리 기준으로 위치 파라미터에 대해 $ n^{-1/8} $, 스케일 파라미터에 대해 $ n^{-1/4} $ 이내의 추정치를 도출한다. 이는 고전적인 $ n^{-1/2} $ 속도보다 훨씬 느린 수렴 속도를 드러낸다.

ABSTRACT

We study a class of weakly identifiable location-scale mixture models for which the maximum likelihood estimates based on $n$ i.i.d. samples are known to have lower accuracy than the classical $n^{- \\frac{1}{2}}$ error. We investigate whether the Expectation-Maximization (EM) algorithm also converges slowly for these models. We provide a rigorous characterization of EM for fitting a weakly identifiable Gaussian mixture in a univariate setting where we prove that the EM algorithm converges in order $n^{\\frac{3}{4}}$ steps and returns estimates that are at a Euclidean distance of order ${ n^{- \\frac{1}{8}}}$ and ${ n^{-\\frac{1} {4}}}$ from the true location and scale parameter respectively. Establishing the slow rates in the univariate setting requires a novel localization argument with two stages, with each stage involving an epoch-based argument applied to a different surrogate EM operator at the population level. We demonstrate several multivariate ($d \\geq 2$) examples that exhibit the same slow rates as the univariate case. We also prove slow statistical rates in higher dimensions in a special case, when the fitted covariance is constrained to be a multiple of the identity.

연구 동기 및 목표

• 피셔 정보가 집합 상에서 퇴화하는 약하게 식별 가능한 혼합 모형에서 EM 알고리즘의 계산적 및 통계적 행동을 이해하기 위해.
• 모형이 과잉특징화되어 있고 위치 및 스케일 파라미터가 모두 알려지지 않은 경우 EM의 수렴 속도를 특성화하기 위해.
• 일변량 및 다변량 약하게 식별 가능한 가우시안 혼합 모형에 대해 EM의 단계 수와 추정 오차에 대한 엄밀한 경계를 설정하기 위해.
• 약하게 식별 가능한 모형에서 MLE의 속도에 대한 이전 결과를 EM의 계산 성능으로 확장하기 위해.
• 모수 수준에서의 에포크 기반 분석을 통한 새로운 이중단계 국소화 추론 기법을 개발하기 위해.

제안 방법

• 저자들은 약하게 식별 가능한 모형에서 EM 수렴을 분석하기 위해 이중단계 국소화 추론 기법을 도입하며, 인구 수준의 서브스티튜션 EM 연산자를 사용한다.
• 그들은 인구 수준의 EM 연산자 $ \widetilde{M}_{n,d} $ 를 정의하고, 한 단계 수축 경계를 증명한다: 고확률으로 $ \|\widetilde{M}_{n,d}(\theta^0)\| \leq \sqrt{2/\pi} $.
• 분석은 경험적 모멘트에 대한 농도 부등식을 활용하여, $ \left| \frac{1}{n} \sum X_j^{2k} - \mathbb{E}[X^{2k}] \right| \leq \frac{C_k \log^k(n/\delta)}{\sqrt{n}} $ 를 보여준다.
• 다변량 케이스의 경우, 피팅된 공분산이 항등행렬의 배수임을 제약 조건으로 두어 일변량 결과의 확장을 가능하게 한다.
• 적합된 모형과 진짜 가우시안 혼합 모형 간의 추정 품질을 측정하기 위해 제1차 워샤르의 거리(Wasserstein distance)를 사용하며, 혼합 성분 간 최적 운반 결합을 통해 정의된다.
• 증명 기법은 에포크 기반 분석과 가우시안 혼합의 꼬리 확률과 대칭성의 새로운 활용을 결합하여 EM 업데이트 단계의 행동을 통제한다.

실험 결과

연구 질문

• RQ1 약하게 식별 가능한 가우시안 혼합 모형에서 EM 알고리즘이 수렴 속도 측면에서 어떻게 행동하는가?
• RQ2 특히 참 파라미터로부터 유클리드 거리 기준으로 볼 때, 이러한 모형에서 EM 추정치의 통계적 정확도는 어떠한가?
• RQ3 부분 로그우도의 도함수들 사이의 대수적 의존성으로 인해 EM의 느린 수렴이 엄밀하게 특성화되고 경계화될 수 있는가?
• RQ4 EM 알고리즘이 약하게 식별 가능한 설정에서 MLE와 유사한 추정 오차를 달성하는가?
• RQ5 일변량 분석은 $ d \geq 2 $ 인 다변량 모형으로 확장될 수 있으며, 그 결과 수렴 및 오차 속도는 어떠한가?

주요 결과

• 일변량 약하게 식별 가능한 가우시안 혼합 모형에서 EM은 $ \mathcal{O}(n^{3/4}) $ 단계 내에 수렴한다.
• EM 알고리즘은 참 위치 파라미터로부터 $ \mathcal{O}(n^{-1/8}) $ 유클리드 거리 이내의 추정치를 반환한다.
• 스케일 파라미터의 추정 오차는 $ \mathcal{O}(n^{-1/4}) $ 로, 고전적인 $ n^{-1/2} $ 속도보다 훨씬 느리다.
• 동일한 느린 속도는 다변량 환경($ d \geq 2 $)에서도 관찰되며, 특히 공분산이 항등행렬의 배수임을 제약 조건으로 두었을 때 더욱 두드러진다.
• 수렴 및 오차 경계를 증명하기 위해, 에포크 기반 분석을 통한 새로운 이중단계 국소화 추론 기법이 필수적이다.
• 적합된 모형과 진짜 모형 간의 워샤르의 거리는 $ \|\theta - \theta_*\|_2 + \sqrt{d} \sqrt{|\sigma^2 - \sigma_*^2|} $ 로 경계지며, 이는 추정 오차와 모형 품질을 연결한다.