[논문 리뷰] An Alternative to EM for Gaussian Mixture Models: Batch and Stochastic Riemannian Optimization

Reshad Hosseini, Suvrit Sra|arXiv (Cornell University)|2017. 06. 10.

Bayesian Methods and Mixture Models참고 문헌 28인용 수 5

한 줄 요약

이 논문은 기하학적 최적화 프레임워크를 제안하여 가우시안 믹스처 모델(GMM)의 파라미터 추정을 기존 기대값최대화(EM) 알고리즘의 확장 가능한 대안으로 제시한다. 양의 정부호 행렬의 다양체 위에서 지측선 볼록성을 보장하도록 가능도 문제를 재구성함으로써, 저자들은 배치 및 확률적 리만 최적화 알고리즘을 개발하였으며, 수렴 속도와 확장성 면에서 EM을 능가한다. 이는 리만 기반 확률적 경사하강법에 대한 최초의 비점근 수렴 분석을 제공한다.

ABSTRACT

We consider maximum likelihood estimation for Gaussian Mixture Models (Gmms). This task is almost invariably solved (in theory and practice) via the Expectation Maximization (EM) algorithm. EM owes its success to various factors, of which is its ability to fulfill positive definiteness constraints in closed form is of key importance. We propose an alternative to EM by appealing to the rich Riemannian geometry of positive definite matrices, using which we cast Gmm parameter estimation as a Riemannian optimization problem. Surprisingly, such an out-of-the-box Riemannian formulation completely fails and proves much inferior to EM. This motivates us to take a closer look at the problem geometry, and derive a better formulation that is much more amenable to Riemannian optimization. We then develop (Riemannian) batch and stochastic gradient algorithms that outperform EM, often substantially. We provide a non-asymptotic convergence analysis for our stochastic method, which is also the first (to our knowledge) such global analysis for Riemannian stochastic gradient. Numerous empirical results are included to demonstrate the effectiveness of our methods.

연구 동기 및 목표

• GMM의 공분산 행렬에 대한 양의 정부호 제약 조건을 다루는 데 있어 표준 비선형 최적화 방법의 한계를 해결하기 위해.
• 고차원에서의 수렴 병목 현상 문제를 피하면서 GMM 파라미터 추정을 위한 확장 가능한 EM 알고리즘의 대안을 개발하기 위해.
• 리만 다양체 위의 양의 정부호 행렬에서 효율적인 최적화를 가능하게 하기 위해 가능도를 재구성하여 지측선 볼록성을 보장하기 위해.
• 패널티가 부여된 GMM 가능도 최대화에 적용 가능한, 리만 기반 확률적 경사하강법에 대한 비점근 수렴 분석을 제공하기 위해.
• 다양한 차원과 성분 수를 가진 실제 데이터 세트에서 리만 최적화의 효과성을 입증하기 위해.

제안 방법

• GMM 로그가능도 최대화 문제를 재구성하여, 양의 정부호 행렬의 다양체 위에서 지측선 볼록성을 보장함으로써, 난이도 있는 리만 방법의 실패를 해결한다.
• 양의 정부호 다양체의 리만 기하학을 활용하여 GMM 추정을 제약 조건이 있는 최적화 문제로 재구성함으로써, 공분산 행렬의 양의 정부호성을 본질적으로 유지한다.
• 재구성 및 벡터 이송을 사용한 재구성 및 벡터 이송을 활용한 배치 및 확률적 리만 최적화 알고리즘을 개발하였으며, 계산 효율성을 위해 지수 사상과 유클리드 재구성(리트랙션)을 사용한다.
• 데이터 차원과 동일한 배치 크기를 사용하여 지수 감쇠 스텝 크기와 함께 리만 기반 확률적 경사하강법(RSGD)을 적용함으로써 확장성을 향상시킨다.
• 문제의 구조를 활용하여 다양체 위에서 기울기와 헤시안 근사값의 효율적 계산을 가능하게 한다.
• 병렬 이동과 재구성 기법을 활용하여 최적화 중 수치적 안정성과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 비선형 방법의 한계를 극복하고, GMM 파라미터 추정에 리만 최적화 프레임워크를 성공적으로 적용할 수 있는가?
• RQ2 왜 GMM 가능도의 난이도 있는 리만 공식화가 EM에 경쟁할 수 없으며, 문제 기하학을 어떻게 재구성하여 효과적인 리만 최적화를 가능하게 할 수 있는가?
• RQ3 대규모 GMM 문제에서 확률적 리만 최적화가 EM보다 더 빠른 수렴을 달성할 수 있는가?
• RQ4 리만 기반 확률적 경사하강법의 비점근 수렴 행동은 어떠한가, 그리고 GMM에 대해 이론적으로 분석할 수 있는가?
• RQ5 제안된 리만 프레임워크는 다양한 차원과 성분 수를 가진 실제 데이터 세트에서 어떻게 확장되는가?

주요 결과

• 제안된 GMM 가능도 문제의 재구성은 리만 최적화가 EM보다 수렴 속도에서 뛰어난 성능을 보이게 하며, 시뮬레이션 및 실제 데이터 세트 모두에서 뚜렷한 향상을 보였다.
• 리만 기반 확률적 경사하강법(RSGD)은 목적 함수 값의 초기 급격한 증가를 보이며, EM 및 기타 방법 대비 뛰어난 초기 수렴 성능을 보였다.
• 결정적 리만 최적화 방법은 코렐, 연도예측, 포도주, 자연 이미지 등 테스트된 모든 데이터 세트에서 EM 성능을 맞추거나 초월하였다.
• 리만 기반 확률적 경사하강법에 대한 비점근 수렴 분석은 O(1/√T)의 반복 복잡도 상한을 도출하였으며, 이는 확률적 리만 최적화에 있어 최초의 결과이다.
• 실험 결과, 유클리드 재구성(리트랙션)을 사용한 RSGD는 더 비싼 지수 사상과 유사한 성능을 보였으며, 계산 효율적인 재구성 기법이 효과적인 최적화에 충분함을 시사했다.
• 이 방법은 다양한 파라미터 영역 및 데이터 차원에서 강건하며, EM 및 LBFGS, 공액 기울기와 같은 기타 표준 솔버보다 일관되게 성능 향상을 보였다.