[논문 리뷰] Local Maxima in the Likelihood of Gaussian Mixture Models: Structural Results and Algorithmic Consequences

Chi Jin, Yuchen Zhang외 3명|arXiv (Cornell University)|2016. 09. 04.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 75

한 줄 요약

이 논문은 M ≥ 3개 성분을 가진 가우시안 믹스처 모델(GMM)의 모집단 우도 함수에서, 동일한 가중치, 구형, 잘 분리된 성분이라는 이상적인 조건 하에서도 악성 국소 최대값이 존재할 수 있음을 입증한다. 또한, 무작위 초기화를 가진 1차 EM 알고리즘은 이러한 열악한 국소 최대값으로 수렴할 가능성이 높으며, 이는 유리한 조건 하에서도 실무에서 신중한 초기화가 필수적임을 강조한다.

ABSTRACT

We provide two fundamental results on the population (infinite-sample) likelihood function of Gaussian mixture models with $M \\geq 3$ components. Our first main result shows that the population likelihood function has bad local maxima even in the special case of equally-weighted mixtures of well-separated and spherical Gaussians. We prove that the log-likelihood value of these bad local maxima can be arbitrarily worse than that of any global optimum, thereby resolving an open question of Srebro (2007). Our second main result shows that the EM algorithm (or a first-order variant of it) with random initialization will converge to bad critical points with probability at least $1-e^{-\\Omega(M)}$. We further establish that a first-order variant of EM will not converge to strict saddle points almost surely, indicating that the poor performance of the first-order method can be attributed to the existence of bad local maxima rather than bad saddle points. Overall, our results highlight the necessity of careful initialization when using the EM algorithm in practice, even when applied in highly favorable settings.

연구 동기 및 목표

• M ≥ 3개 성분을 가진 가우시안 믹스처 모델의 모집단 우도에서 악성 국소 최대값이 존재하는지 여부에 대한 열린 문제를 해결하기 위해.
• 악성 국소 최대값이 존재하는 상황에서 EM 알고리즘과 그 1차 변형의 수렴 행동을 분석하기 위해.
• EM의 열악한 성능이 우도 표면에서 악성 국소 최대값 때문인지, 악성 안장점 때문인지를 규명하기 위해.
• 유리한 모델 가정 하에서도 EM 기반 GMM 추정에서 신중한 초기화의 필요성을 이론적으로 정당화하기 위해.

제안 방법

• 저자는 M ≥ 3개 성분을 가진 균일한 가중치, 등방성 GMM의 모집단 우도 함수를 무한 표본 근사에서 분석한다.
• 잘 분리된, 구형인 가우시안 성분을 동일한 가중치로 가진 구체적인 예를 구성하여 악성 국소 최대값의 존재를 입증한다.
• 우도 차이에 대한 해석적 경계를 사용하여, 이러한 악성 국소 최대값에서의 로그우도가 전역 최적값보다 임의로 열악해질 수 있음을 증명한다.
• 1차 EM 업데이트를 g(μ) = μ + s∇ℒ(μ)로 모델링하고, 안정 다변수 정리를 활용하여 엄격한 안장점으로의 수렴 확률이 0임을 보인다.
• EM 맵의 헤시안이 양의 정부호이므로, 맵이 국소 미분동형사상임을 보장함으로써, 동역학 시스템 도구의 사용이 가능함을 확립한다.
• 부등식 |ab| ≤ ½(a² + b²)를 적용하고 ∑wᵢ(X) = 1이라는 제약 조건을 활용하여 이차형식 vᵀQv ≥ 0임을 보여, 로그우도의 헤시안 행렬이 양의 준정부호임을 증명한다.

실험 결과

연구 질문

• RQ1 M ≥ 3개 성분을 가진 가우시안 믹스처 모델의 모집단 우도에서, 동일한 가중치와 잘 분리된 구형 성분이라는 이상적인 조건 하에서도 악성 국소 최대값이 존재하는가?
• RQ2 악성 국소 최대값에서의 로그우도 값이 전역 최적값보다 임의로 열악해질 수 있는가?
• RQ3 무작위 초기화 하에서 1차 EM 알고리즘이 악성 국소 최대값으로 수렴할 확률이 높은가?
• RQ4 1차 EM 방법의 열악한 성능은 우도 표면에서 악성 국소 최대값 때문인지, 악성 안장점 때문인가?
• RQ5 무작위 초기화 하에서 EM 알고리즘이 엄격한 안장점으로부터 거의 확실히 피할 수 있는가?

주요 결과

• M ≥ 3개 성분을 가진 GMM의 모집단 우도 함수에서, 성분이 동일한 가중치, 구형, 잘 분리되어 있더라도 악성 국소 최대값이 존재한다.
• 이러한 악성 국소 최대값에서의 로그우도는 전역 최적값보다 임의로 열악해질 수 있으며, 이는 Srebro(2011)가 제기한 열린 문제를 해결한다.
• 무작위 초기화를 가진 1차 EM 알고리즘은 악성 임계점으로 수렴할 확률이 1 − e^−Ω(M) 이상이며, 이는 M이 클수록 높은 실패 확률을 의미한다.
• 1차 EM 알고리즘은 엄격한 안장점으로 거의 확실히 수렴하지 않으며, 이러한 지점으로 수렴하는 초기점의 집합은 르베그 측도가 0이기 때문이다.
• 로그우도 함수의 헤시안은 양의 준정부호이며, 이는 EM 업데이트 맵이 국소 미분동형사상임을 보장하고, 동역학 시스템 도구의 적용을 가능하게 한다.
• 이러한 결과들은 GMM에서 EM 수렴의 주요 장애물이 안장점이 아니라 악성 국소 최대값의 존재임을 시사하며, 실무에서의 초기화에 대한 세심한 고려가 필수적임을 의미한다.