[논문 리뷰] Estimating the Coefficients of a Mixture of Two Linear Regressions by Expectation Maximization

Jason M. Klusowski, Dana Yang외 1명|arXiv (Cornell University)|2017. 04. 26.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 3

한 줄 요약

이 논문은 대칭적인 두 개의 선형 회귀 혼합 모형에서 계수를 추정하는 데 있어 기대-최대화(EM) 알고리즘의 수렴 보장을 수립한다. 초기값이 목표값과 충분히 큰 코사인 각도를 이루는 무한한 원뿔 영역 내에 위치할 경우, EM 반복이 참값 파ameter 벡터로 파라미터의 비율에 따라 수렴함을 증명하며, 이 각도가 너무 작을 경우 인구 EM 연산자가 반수축성(anti-contractive)임을 보여, 이에 따라 원뿔형 초기값 조건이 필수적임을 밝힌다.

ABSTRACT

We give convergence guarantees for estimating the coefficients of a symmetric mixture of two linear regressions by expectation maximization (EM). In particular, we show that the empirical EM iterates converge to the target parameter vector at the parametric rate, provided the algorithm is initialized in an unbounded cone. In particular, if the initial guess has a sufficiently large cosine angle with the target parameter vector, a sample-splitting version of the EM algorithm converges to the true coefficient vector with high probability. Interestingly, our analysis borrows from tools used in the problem of estimating the centers of a symmetric mixture of two Gaussians by EM. We also show that the population EM operator for mixtures of two regressions is anti-contractive from the target parameter vector if the cosine angle between the input vector and the target parameter vector is too small, thereby establishing the necessity of our conic condition. Finally, we give empirical evidence supporting this theoretical observation, which suggests that the sample based EM algorithm performs poorly when initial guesses are drawn accordingly. Our simulation study also suggests that the EM algorithm performs well even under model misspecification (i.e., when the covariate and error distributions violate the model assumptions).

연구 동기 및 목표

• 대칭적인 두 개의 선형 회귀 혼합 모형의 파rameter를 추정하는 데 있어 EM 알고리즘의 이론적 수렴 보장을 제공하는 것.
• EM이 참값 파rameter 벡터로 수렴할 수 있는 조건을 규명하는 것.
• 인구 EM 연산자의 반수축성 행동 분석을 통해 원뿔형 초기값 조건의 필요성을 입증하는 것.
• 이 분야의 유사 문제인 가우시안 혼합 추정과의 연결을 시도하며, 그 분야에서 사용되는 도구를 활용하는 것.
• 모형 불일치 상황 하에서 이론적 결과를 경험적으로 검증하는 것.

제안 방법

• 저자들은 i.i.d. 표준 정규 분포를 따르는 공변수와 라데마처 혼합 가중치를 갖는 대칭적인 두 성분으로 이루어진 선형 회귀 혼합 모형에 대해 인구 EM 연산자를 분석한다.
• 참값 파rameter 벡터 주변의 무한한 원뿔 영역 내에서 인구 EM 연산자가 수축성임을 증명하여, 이 영역 내에서의 수렴을 보장한다.
• 특히 표준 정규 분포의 누적분포함수(CDF)와 밀도함수(PDF)를 포함한 꼬리 확률과 기대값을 bound하는 데 있어, 가우시안 위치 혼합 모형에 대한 EM 이론의 도구를 활용한다.
• 모멘트 생성 함수와 젠슨 부등식을 사용하여 수축 모듈러스와 통계 오차 항을 bound하는 핵심 부등식을 유도한다.
• 알고리즘적 수렴과 통계적 수렴을 분리하기 위해 샘플 분할 버전의 EM을 분석함으로써, 고확률 수렴 보장을 가능하게 한다.
• 초기 추정치와 참값 간의 코사인 각도가 너무 작을 경우, EM 연산자가 반수축성을 띠게 됨을 입증함으로써 원뿔형 초기값 조건의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 대칭적인 두 개의 선형 회귀 혼합 모형에서 EM 알고리즘이 참값 파rameter 벡터로 수렴하는 조건은 무엇인가?
• RQ2 empirical EM 반복의 수렴 속도는 무엇이며, 이는 파라미터의 비율 수렴 속도를 달성할 수 있는가?
• RQ3 왜 참값 주변의 특정 원뿔 영역 내에서의 초기값 설정이 수렴을 위해 필수적인가?
• RQ4 초기 추정치가 참값과 잘 맞지 않을 경우 인구 EM 연산자는 어떻게 행동하는가?
• RQ5 비정규 분포의 공변수나 오차가 존재하는 등 모형 불일치 상황에서도 EM 알고리즘이 강건한가?

주요 결과

• 초기값이 참값과 충분히 큰 코사인 각도를 이루는 무한한 원뿔 영역 내에 위치할 경우, 경험적 EM 반복은 참값 파rameter 벡터로 $ O(1/ ext{sample size}) $ 의 파라미터 비율 수렴 속도를 갖는다.
• 입력값과 참값 간의 코사인 각도가 너무 작을 경우, 인구 EM 연산자가 참값 파rameter 벡터에서 반수축성을 띠게 되며, 이는 원뿔형 초기값 조건의 필수성을 입증한다.
• 샘플 분할 버전의 EM은 동일한 원뿔형 초기값 조건 하에서 참값 파rameter 벡터로 고확률 수렴을 달성한다.
• 모멘트 생성 함수와 표준 정규 분포의 꼬리 밴드를 사용하여 수축 모듈러스와 통계 오차 항에 대한 이론적 bound를 유도한다.
• 경험적 결과는 코사인 각도가 작은 영역에서 초기값을 추출할 경우 EM의 성능이 떨어짐을 확인하며, 이는 반수축성 분석을 뒷받침한다.
• 모형 불일치 상황에서도 알고리즘이 강건함을 시뮬레이션 연구를 통해 입증하였으며, 공변수나 오차 분포가 모형 가정과 다를 경우에도 EM이 잘 작동하는 것으로 나타났다.