[논문 리뷰] On the Minimax Optimality of the EM Algorithm for Learning Two-Component Mixed Linear Regression

Jeongyeol Kwon, Nhat Ho외 1명|arXiv (Cornell University)|2020. 06. 03.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 모든 신호 대 잡음비(SNR) 영역에서 이원 혼합 선형 회귀에 대해 EM 알고리즘의 최소최대 최적성(minimax optimality)을 확립한다. 미세한 초기화 조건 하에서 고SNR에서는 $\mathcal{O}((d/n)^{1/2})$ 및 저SNR에서는 $\mathcal{O}((d/n)^{1/4})$의 최적 통계적 수렴 속도를 달성함을 증명하여, 약하게 분리된 설정에서 EM의 행동에 대한 이론적 이해의 오랜 격차를 해결한다.

ABSTRACT

We study the convergence rates of the EM algorithm for learning two-component mixed linear regression under all regimes of signal-to-noise ratio (SNR). We resolve a long-standing question that many recent results have attempted to tackle: we completely characterize the convergence behavior of EM, and show that the EM algorithm achieves minimax optimal sample complexity under all SNR regimes. In particular, when the SNR is sufficiently large, the EM updates converge to the true parameter $\ heta^{*}$ at the standard parametric convergence rate $\\mathcal{O}((d/n)^{1/2})$ after $\\mathcal{O}(\\log(n/d))$ iterations. In the regime where the SNR is above $\\mathcal{O}((d/n)^{1/4})$ and below some constant, the EM iterates converge to a $\\mathcal{O}({\ m SNR}^{-1} (d/n)^{1/2})$ neighborhood of the true parameter, when the number of iterations is of the order $\\mathcal{O}({\ m SNR}^{-2} \\log(n/d))$. In the low SNR regime where the SNR is below $\\mathcal{O}((d/n)^{1/4})$, we show that EM converges to a $\\mathcal{O}((d/n)^{1/4})$ neighborhood of the true parameters, after $\\mathcal{O}((n/d)^{1/2})$ iterations. Notably, these results are achieved under mild conditions of either random initialization or an efficiently computable local initialization. By providing tight convergence guarantees of the EM algorithm in middle-to-low SNR regimes, we fill the remaining gap in the literature, and significantly, reveal that in low SNR, EM changes rate, matching the $n^{-1/4}$ rate of the MLE, a behavior that previous work had been unable to show.

연구 동기 및 목표

• 혼합 선형 회귀에서 저~중간 SNR 영역에서 EM의 수렴 행동에 대한 오랫동안 열려 있던 열린 질문을 해결하기 위해.
• 이원 혼합 선형 회귀에서 EM의 최소최대 최적 표본 복잡도를 확립하기 위해.
• 저SNR, 중간SNR, 고SNR를 포함한 모든 SNR 영역에서 EM 수렴의 완전한 특성화를 제공하기 위해.
• 표본 분할 없이 무작위 또는 효율적으로 계산 가능한 국소 초기화로부터의 전역 수렴을 보여주기 위해.
• 저SNR에서 EM의 수렴 속도가 $n^{-1/2}$에서 $n^{-1/4}$로 전이되며, 이는 MLE의 속도와 일치함을 보여주기 위해.

제안 방법

• 큰 표본의 극한에서 수렴 동역학을 분석하기 위해 인구 수준의 EM 연산자를 사용한다.
• 다양한 SNR 영역에서 EM 업데이트 연산자의 고유값 성질을 분석함으로써 수렴 경계를 도출한다.
• 이차 형식과 경험 과정에 대한 농도 부등식을 사용하여 유한 표본 이탈을 통제한다.
• EM 업데이트를 신호 및 노이즈 성분으로 정교하게 분해하여 수축 속도를 유계로 제한한다.
• 경험적 EM 연산자와 그 인구 대응체 사이의 균일한 이탈 경계를 확립한다.
• 무작위 또는 국소 초기화를 포함한 비교적 미약한 초기화 조건 하에서 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 EM 알고리즘이 모든 SNR 영역에서 이원 혼합 선형 회귀에서 최소최대 최적 표본 복잡도를 달성하는가?
• RQ2 저SNR 영역에서 EM의 정확한 수렴 속도는 무엇인가? 특히 SNR가 $\mathcal{O}((d/n)^{1/4})$ 이하일 경우에 대해.
• RQ3 수렴을 위한 반복 횟수는 SNR와 어떻게 관련되는가? 특히 $\mathcal{O}((d/n)^{1/4})$ 근처의 전이 영역에서.
• RQ4 표본 분할이나 강한 분리 가정 없이 무작위 초기화로부터 EM이 전역 수렴을 달성할 수 있는가?
• RQ5 저SNR에서 EM의 수렴 속도는 이 문제에 대해 알려진 최소최대 하한과 일치하는가?

주요 결과

• 고~중간 SNR 영역에서 $\|\theta^*\| \gtrsim (d/n)^{1/4}$ 이면, EM은 $\mathcal{O}(\max\{1,\|\theta^*\|^{-1}\}(d/n)^{1/2})$ 이내의 이웃으로 참값 $\theta^*$에 수렴하며, 이는 $\mathcal{O}(\max\{1,\|\theta^*\|^{-2}\}\log(n/d))$회의 반복 후에 달성된다.
• 저SNR 영역에서 $\|\theta^*\| \lesssim (d/n)^{1/4}$ 이면, EM은 $\mathcal{O}((d/n)^{1/4})$ 이내의 이웃으로 $\theta^*$에 수렴하며, 이는 $\mathcal{O}((n/d)^{1/2})$회의 반복 후에 달성된다.
• 저SNR 영역에서의 수렴 속도는 MLE의 $n^{-1/4}$ 속도와 일치하며, 이는 이 영역에서 EM이 최소최대 최적 속도를 달성함을 확인한다.
• SNR이 감소함에 따라 $\|\theta^*\|^{-2}$에 대해 반복 횟수가 제곱적으로 증가하며, $\|\theta^*\| = (d/n)^{1/4}$에서 $\|\theta^*\|^{-2}\log(n/d)$에서 $\sqrt{n/d}$로 부드럽게 전이된다.
• 표본 분할이나 강력한 초기화 조건 없이도 무작위 초기화로부터 전역 수렴이 높은 확률로 확립된다.
• 모든 SNR 영역에서 추정 오차 상한이 이 문제에 대해 알려진 최소최대 하한과 일치하여 분석의 날카운 성격을 확인한다.