[논문 리뷰] EM Converges for a Mixture of Many Linear Regressions

Jeongyeol Kwon, Constantine Caramanis|arXiv (Cornell University)|2019. 05. 28.

Statistical Methods and Inference참고 문헌 20인용 수 10

한 줄 요약

이 논문은 유한한 신호 대 잡음비(SNR) 하에서 $k \geq 3$ 개 성분을 가진 선형 회귀 혼합 모델에 대해 EM 알고리즘의 최초 전역 수렴 보장을 확립한다. 잘 초기화된 EM이 SNR가 $\tilde{\Omega}(k)$일 때 진짜 매개변수로 수렴하며, 노이즈가 사라질 때 정확한 복원을 달성하고 매개변수 노름에 영향을 받지 않는 통계적 오차를 제공한다.

ABSTRACT

We study the convergence of the Expectation-Maximization (EM) algorithm for mixtures of linear regressions with an arbitrary number $k$ of components. We show that as long as signal-to-noise ratio (SNR) is $ ildeΩ(k)$, well-initialized EM converges to the true regression parameters. Previous results for $k \geq 3$ have only established local convergence for the noiseless setting, i.e., where SNR is infinitely large. Our results enlarge the scope to the environment with noises, and notably, we establish a statistical error rate that is independent of the norm (or pairwise distance) of the regression parameters. In particular, our results imply exact recovery as $σ ightarrow 0$, in contrast to most previous local convergence results for EM, where the statistical error scaled with the norm of parameters. Standard moment-method approaches may be applied to guarantee we are in the region where our local convergence guarantees apply.

연구 동기 및 목표

• 유한한 노이즈 조건 하에서 다성분 선형 회귀 혼합 모델에 대한 EM의 이론적 수렴 보장 부족 문제를 해결한다.
• 이전에 노이즈가 없는 설정이나 $k=2$에 국한되어 있던 국소 수렴 결과를 유한한 SNR 하에서 $k \geq 3$ 성분으로 확장한다.
• 매개변수 노름 또는 쌍별 거리에 영향을 받지 않는 통계적 오차율을 확립하여, $\sigma \to 0$ 일 때 정확한 복원을 가능하게 한다.
• 모멘트 기반 초기화가 EM의 국소 수렴 영역에 진입하도록 보장하는 프레임워크를 제공한다. 이는 실용적 초기화와 이론적 보장 간의 다리를 놓는다.

제안 방법

• 독립 동일분포 가우시안 공변수와 서브가우시안 노이즈를 가진 $k$-성분 선형 회귀 혼합 모델에서의 인구(population) EM 알고리즘을 분석한다.
• 매개변수 이탈 $\Delta_l$, 노이즈 $e$, 성분별 가중치 $w_l^u$ 를 포함하는 EM 업데이트의 새로운 분해를 도입한다.
• 행렬 $X$ 의 이차 형식 꼬리 행동을 제어하기 위해 $\mathcal{E}_{1,l}$ 및 $\mathcal{E}_{2,l}$ 를 사용하는 이벤트 기반 분석을 도입한다.
• 서브가우시안 및 서브지수 꼬리 경계를 활용하여 모멘트 부등식과 꼬리 확률 추정치를 이용해 EM 업데이트의 기대 제곱 오차를 유계화한다.
• 오차 항들을 균형 잡기 위해 $\tau_l = \Theta(\sqrt{\log(R_{jl}^* \rho_\pi)})$ 및 $\tau_l = O(\sqrt{\log k})$ 를 설정하여 $O(\|\Delta_l\|^2)$ 또는 $O(\|\Delta_l\|^2 \log k)$ 유계를 확보한다.
• 잘 초기화된 조건 하에서 매개변수 공간에서 수축을 통해 수렴을 확립하며, 오차 척도가 $\|\beta_j^*\|$ 와 무관하다.

실험 결과

연구 질문

• RQ1 유한한 SNR 조건 하에서 $k \geq 3$ 성분을 가진 선형 회귀 혼합 모델에 대해 EM이 전역적으로 진짜 매개변수로 수렴할 수 있는가?
• RQ2 EM의 통계적 오차가 회귀 매개변수의 노름에 따라 스케일링되는가, 아니면 이러한 노름에 영향을 받지 않도록 만들 수 있는가?
• RQ3 모멘트 기반 초기화 기법이 노이즈가 있는 다성분 설정에서 EM 수렴의 영역에 대해 엄밀하게 연결될 수 있는가?
• RQ4 어떤 SNR 임계값이 잘 초기화된 조건 하에서 EM 수렴을 보장하며, 이 임계값은 $k$ 와 어떻게 스케일링되는가?
• RQ5 유한 표본 EM 알고리즘의 오차율은 인구 수준 수렴과 비교해 어떻게 되며, 노이즈가 없는 근처에서 정확한 복원을 달성하는가?

주요 결과

• SNR가 $\tilde{\Omega}(k)$이고 초기화가 진짜 매개변수로부터 $\tilde{O}(1/k)$ 이내일 경우, EM은 높은 확률로 진짜 회귀 매개변수로 수렴한다.
• 유한 표본 EM 알고리즘의 통계적 오차는 $\tilde{O}(\sigma \sqrt{k^2 d / n})$ 이며, 회귀 매개변수의 노름에 영향을 받지 않는다.
• 노이즈가 사라질 때 정확한 복원이 달성되며, 이는 이전 결과들과는 달리 오차가 매개변수 노름에 따라 스케일링되지 않는다는 점에서 대비된다.
• 잘 초기화된 조건 하에서 매개변수 공간에서 수축 성질이 확립되며, 오차 유계가 $\|\beta_j^*\|$ 와 분리되어 있다.
• 수렴 보장이 인구 수준 및 유한 표본 EM 모두에 적용되며, 이는 이전의 $k=2$ 결과를 일반화하고 노이즈가 있는 고차원 설정으로 확장한다.
• 모멘트 기반 초기화 기법이 EM이 수렴 영역 내에 들어가도록 보여주어 실용적 적용에 이론적 보장을 제공한다.