[논문 리뷰] Manifold Optimization for Gaussian Mixture Models

Reshad Hosseini, Suvrit Sra|arXiv (Cornell University)|2015. 06. 25.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 6

한 줄 요약

이 논문은 가우시안 믹스처 모델(GMM) 파라미터 추정을 위한 리만 다양체 최적화를 제안하며, 다각도적 볼록성(Manifold convexity)을 가능하게 하는 재매개변수화(reparametrization) 덕분에 기대값 최대화(EM) 알고리즘과 경쟁하고 종종 이를 능가함을 보여준다. 양의 정부호 행렬의 다양체 위에서 최적화를 재구성하고, 효과적인 선 탐색을 갖춘 맞춤형 리만 LBFGS 솔버를 사용함으로써, 특히 고차원 또는 악조건인 설정에서 더 빠른 수렴 속도와 더 높은 안정성을 달성한다.

ABSTRACT

We take a new look at parameter estimation for Gaussian Mixture Models (GMMs). In particular, we propose using \emph{Riemannian manifold optimization} as a powerful counterpart to Expectation Maximization (EM). An out-of-the-box invocation of manifold optimization, however, fails spectacularly: it converges to the same solution but vastly slower. Driven by intuition from manifold convexity, we then propose a reparamerization that has remarkable empirical consequences. It makes manifold optimization not only match EM---a highly encouraging result in itself given the poor record nonlinear programming methods have had against EM so far---but also outperform EM in many practical settings, while displaying much less variability in running times. We further highlight the strengths of manifold optimization by developing a somewhat tuned manifold LBFGS method that proves even more competitive and reliable than existing manifold optimization tools. We hope that our results encourage a wider consideration of manifold optimization for parameter estimation problems.

연구 동기 및 목표

• 공분산 행렬의 양의 정부호 제약 조건으로 인해 비선형 최적화 방법을 GMM에 적용하는 데 오랫동안 지속된 과제를 해결한다.
• 기존의 다각도 최적화가 GMM에서 성능이 떨어지고 수렴 속도가 느리며 EM 성능을 따라잡지 못하는 문제를 해결한다.
• 단일 성분 GMM의 경우 로그우도 다각도가 볼록해지도록 하는 재매개변수화 전략을 개발한다.
• 수렴성과 성능을 향상시키기 위해 고도화된 선 탐색 절차를 갖춘 강력한 다각도 LBFGS 솔버를 설계한다.
• 합성 및 실제 데이터 세트에서의 실험적 결과를 통해 다각도 최적화가 EM과 동등하거나 이를 초월하는 수렴 속도, 일관성, 내구성 확보를 입증한다.

제안 방법

• 대칭 양의 정부호 행렬의 리만 다각도 위에서 GMM 파라미터 추정을 최적화 문제로 재구성함으로써, 양의 정부호 제약 조건을 암묵적으로 이행한다.
• 공분산 행렬을 행렬 로그를 사용해 재매개변수화하여, 단일 가우시안의 경우 로그우도가 지오데식적으로 볼록해지는 공간으로 문제를 변환한다.
• 충분한 감소와 다각도 위에서의 수렴을 보장하는 트러스트 영역 유사 선 탐색을 갖춘 다각도 LBFGS 알고리즘을 구현한다.
• ManOpt 도구상자에서 다각도 공액 기울기(CG) 방법을 활용하면서, 성능 향상을 위해 새로운 튜닝된 LBFGS 변종을 개발한다.
• 재매개변수화된 공간을 활용해 효율적인 최적화를 가능하게 하면서도, 파라미터 공간의 기하학적 구조를 유지한다.
• 다양한 분리도와 타원도를 가진 합성 데이터와 실제 영상 패치에 대해 적용하여 내구성과 확장성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 초기 성능이 열악한데도 불구하고, 리만 다각도 최적화가 GMM 파라미터 추정에서 EM과 경쟁 가능하게 만들 수 있는가?
• RQ2 양의 정부호 행렬의 다각도 위에서 로그우도 함수가 지오데식적으로 볼록해지도록 하는 기하학적 재매개변수화가 존재하는가?
• RQ3 맞춤형 다각도 LBFGS 방법이 수렴 속도와 안정성 면에서 EM과 표준 다각도 공액 기울기 모두를 능가할 수 있는가?
• RQ4 다양한 데이터 설정에서 다각도 최적화의 수렴 시간과 우도 값 측면에서 EM과 비교해 성능가능한가?
• RQ5 재매개변수화가 GMM에서 성분 겹침과 악조건 문제에 대한 민감도를 어느 정도 감소시키는가?

주요 결과

• 기본적인 다각도 최적화는 제약 조건은 만족하지만 EM을 능가하지 못하고, 수렴 속도가 상당히 느리게 나타난다.
• 제안된 재매개변수화—공분산 행렬의 행렬 로그 사용—은 단일 성분 로그우도를 지오데식적으로 볼록하게 만들며, 효과적인 최적화를 가능하게 한다.
• 재매개변수화를 통해 다각도 최적화는 우도 값에서 EM과 동등해지지만, 수렴 시간은 상당히 더 빠르고 일관성 있게 나타난다.
• 낮은 분리도(c=0.2)를 가진 합성 데이터에서 K=5 성분일 경우, EM은 396초 이상 소요되나, 재매개변수화된 LBFGS는 156초 내에 수렴하여 2.5배의 속도 향상을 보였다.
• 실제 영상 패치(d=35)에서 K=10일 경우, 재매개변수화된 다각도 LBFGS는 658초 내에 수렴했고, EM은 2159초가 소요되어 3.3배의 속도 향상을 보였다. 비재매개변수화된 CG보다는 26배 빠르게 수렴했다.
• 이 방법은 데이터 겹침에 덜 민감하며, 특히 고차원 또는 악조건인 설정에서 EM보다 변동성이 낮은 실행 시간을 보였다.