[논문 리뷰] Global Convergence of EM Algorithm for Mixtures of Two Component Linear Regression

Jeongyeol Kwon, Wei Qian외 3명|arXiv (Cornell University)|2018. 10. 12.

Bayesian Methods and Mixture Models참고 문헌 19인용 수 7

한 줄 요약

이 논문은 두 성분을 가진 혼합 선형 회귀에서 EM 알고리즘에 대한 처음으로 전역 수렴 보장을 확립하며, 무작위 초기화로부터의 수렴을 증명한다. 혼합 선형 회귀와 가우시안 혼합 모델 간의 근본적인 차이를 극복하기 위해 새로운 분석 기법을 도입하여, 초기화 거리에 따라 정량화된 속도로 EM 이 수렴함을 보여준다.

ABSTRACT

The Expectation-Maximization algorithm is perhaps the most broadly used algorithm for inference of latent variable problems. A theoretical understanding of its performance, however, largely remains lacking. Recent results established that EM enjoys global convergence for Gaussian Mixture Models. For Mixed Linear Regression, however, only local convergence results have been established, and those only for the high SNR regime. We show here that EM converges for mixed linear regression with two components (it is known that it may fail to converge for three or more), and moreover that this convergence holds for random initialization. Our analysis reveals that EM exhibits very different behavior in Mixed Linear Regression from its behavior in Gaussian Mixture Models, and hence our proofs require the development of several new ideas.

연구 동기 및 목표

• 이전 결과들이 국소 수렴 또는 고신호대역비(SNR) 영역에 국한되어 있음에도 불구하고, 두 성분을 가진 혼합 선형 회귀에서 EM 알고리즘의 전역 수렴을 확립하는 것.
• 실제로는 경험적으로 성공한 바 있으나 이론적 이해가 부족한 EM의 혼합 선형 회귀에서의 행동을 다루는 것.
• 혼합 선형 회귀와 가우시안 혼합 모델 간의 EM 행동에서 발생하는 근본적인 차이를 극복하기 위한 새로운 분석 도구를 개발하는 것.
• 초기 추정치에 대한 EM의 향상 정도를 정확히 반영하는 날것의 오차 경계를 제공하는 것. 이는 이전의 국소 수렴 결과를 향상시키는 것이다.

제안 방법

• 가우시안 예측 변수와 잡음 조건 하에서 두 성분 혼합 선형 회귀의 EM 업데이트 규칙을 분석하며, 완전한 형태와 간소화된 형태(Easy-EM)를 모두 고려한다.
• 가능도에 기반한 가우시안 분포를 가정함으로써 가중 최소제곱법을 통해 폐쇄형 EM 업데이트를 유도한다.
• 혼합 선형 회귀에서는 실패하는 ℓ₂ 거리 수축에 의존하지 않는 새로운 증명 프레임워크를 도입한다.
• 유한 샘플 설정에서 추정 오차를 제한하기 위해 서브가우시안 및 서브지수 농도 부등식을 적용한다.
• 표본 공분산이 항등행렬에서 벗어남을 제어하기 위해 랜덤 행렬 이론을 활용하여 수렴 분석을 가능하게 한다.
• 테일러 전개와 연산자 노름 경계를 사용하여 EM 업데이트에서 역 공분산 행렬을 다룬다.

실험 결과

연구 질문

• RQ1 혼합 선형 회귀에서 두 성분을 가진 경우, EM 알고리즘이 무작위 초기화로부터도 전역 수렴할 수 있는가?
• RQ2 왜 표준 EM 수렴 기법인 ℓ₂ 수축 기반 기법은 혼합 선형 회귀에서는 실패하고, 가우시안 혼합 모델에서는 성공하는가?
• RQ3 진짜 매개변수 β*와의 거리에 따라 혼합 선형 회귀에서 EM의 수렴 속도는 어떻게 되는가?
• RQ4 초기 해에 대한 EM의 향상 정도를 정확히 반영하는 날것의 최종 오차 경계를 확립할 수 있는가?

주요 결과

• 무작위 초기화로부터 두 성분 혼합 선형 회귀에서 EM이 전역 수렴함을 입증하였으며, 이는 이전에 확립되지 않은 결과이다.
• EM의 수렴 속도는 유한하며, 현재 추정치가 진짜 매개변수 β*와의 거리에 따라 달라진다.
• β* 방향의 최종 추정 오차는 고확률적으로 O(√(σ² + ||β*||²)(√(log(1/δ)/n) + d log(1/δ)/n)) 이내로 경계된다.
• 분석 결과, EM이 혼합 선형 회귀에서는 가우시안 혼합 모델과 근본적으로 다르게 행동함을 드러내며, 새로운 증명 기법이 필요함을 보여준다.
• 이전의 국소 수렴 결과를 향상시켜, 초기화 이후의 성능 향상 정도를 정확히 반영하는 날것의 최종 오차 경계를 제공한다.
• 표준 가정 하에서 결과가 성립한다: i.i.d. 가우시안 예측 변수, 대칭 잠재 레이블, 알려진 잡음 분산