[논문 리뷰] Statistical Convergence Analysis of Gradient EM on General Gaussian Mixture Models

Bowei Yan, Mingzhang Yin외 1명|arXiv (Cornell University)|2017. 01. 01.

Bayesian Methods and Mixture Models인용 수 1

한 줄 요약

이 논문은 임의의 성분 수, 비균형 혼합 계수, 임의의 차원성을 가진 일반적인 가우시안 혼합 모델(GMM)에 대해 경사 기반 기대값-최대화(EM) 알고리즘의 수렴성을 분석한다. 학습 이론 및 경험 과정 도구를 사용하여, 혼합 계수, 쌍별 중심 거리, 모델 차원성에 의존하는 수렴 속도를 유도하며, 일반적인 경우에서 처음으로 근사 최적의 국소 수축 반경을 확립한다.

ABSTRACT

In this paper, we study convergence properties of the gradient Expectation-Maximization algorithm~\cite{lange1995gradient} for Gaussian Mixture Models for general number of clusters and mixing coefficients. We derive the convergence rate depending on the mixing coefficients, minimum and maximum pairwise distances between the true centers and dimensionality and number of components; and obtain a near-optimal local contraction radius. While there have been some recent notable works that derive local convergence rates for EM in the two equal mixture symmetric GMM, in the more general case, the derivations need structurally different and non-trivial arguments. We use recent tools from learning theory and empirical processes to achieve our theoretical results.

연구 동기 및 목표

• 대칭적인 두 성분 케이스를 초월하여 일반적인 가우시안 혼합 모델(GMM)에 대한 경사 기반 EM 알고리즘의 수렴 성질을 확립하기 위해.
• 혼합 계수, 성분 중심 간 쌍별 거리, 차원성, 성분 수에 따라 수렴 속도를 정량화하기 위해.
• 일반적인 GMM 설정에서 경사 기반 EM에 대한 근사 최적의 국소 수축 반경을 유도하기 위해.
• 이전에 대칭적인 두 성분 GMM에 국한되어 있던 국소 수렴 결과를 더 넓은 비대칭적, 다성분 케이스로 확장하기 위해.
• 일반적인 GMM의 구조적 복잡성을 다루기 위해 학습 이론 및 경험 과정 분야의 고급 도구를 활용하기 위해.

제안 방법

• 학습 이론 및 경험 과정 분야의 최신 이론 도구를 활용하여 경사 기반 EM 알고리즘을 분석한다.
• 혼합 계수, 진짜 중심 간 최소 및 최대 쌍별 거리, 차원성에 대한 의존도를 분석하여 수렴 속도 한계를 도출한다.
• 진짜 매개변수 근처에서 알고리즘의 행동을 분석하여 국소 수축 반경을 확립한다.
• 고차원 및 비 i.i.d. 설정에서의 수렴 속도를 특성화하기 위해 비점근적 분석 기법을 적용한다.
• 이전의 대칭적인 두 성분 유도 방식과 다름없이, 비대칭성과 일반적인 성분 수를 다룰 수 있는 새로운 구조적 분석을 도입한다.
• 추정 오차를 경사 업데이트 단계에서 제어하기 위해 농도 부등식과 경험 과정 한계의 조합을 활용한다.

실험 결과

연구 질문

• RQ1 임의의 성분 수와 비균형 혼합 계수를 가진 일반적인 GMM에 대해 경사 기반 EM 알고리즘의 수렴 속도는 무엇인가?
• RQ2 수렴 속도는 성분 평균의 기하학적 구성, 특히 최소 및 최대 쌍별 거리에 따라 어떻게 달라지는가?
• RQ3 일반적인 GMM 설정에서 경사 기반 EM에 대한 최적의 국소 수축 반경은 무엇인가?
• RQ4 현대 학습 이론 도구를 사용하여 경사 기반 EM의 이론적 분석을 대칭적인 두 성분 케이스를 초월해 확장할 수 있는가?
• RQ5 차원성과 성분 수가 GMM에서 경사 기반 EM의 수렴 행동에 어떻게 함께 영향을 미치는가?

주요 결과

• 경사 기반 EM 알고리즘의 수렴 속도는 혼합 계수에 명시적으로 의존하며, 작은 또는 더 균형 잡히지 않은 혼합 가중치에서는 수렴 속도가 느려지는 것으로 관찰된다.
• 성분 중심 간 최소 쌍별 거리가 감소할수록 수렴 속도가 악화되며, 이는 서로 가까이 위치한 성분을 구분하는 데 어려움이 있음을 시사한다.
• 차원성이 증가할수록 수렴 속도가 향상되며, 이는 특정 조건 하에서 고차원 설정에서 더 빠른 수렴이 가능함을 시사한다.
• 근사 최적의 국소 수축 반경이 도출되었으며, 이는 알고리즘이 진짜 매개변수의 충분히 작은 이웃에 진입하면 빠르게 수렴한다는 것을 의미한다.
• 이론적 프레임워크는 이전의 대칭적인 두 성분 GMM 결과를 더 넓은 비대칭적, 다성분 케이스로 성공적으로 일반화하였다.
• 분석 결과는 일반적인 GMM의 구조적 복잡성이 대칭 설정에서 사용된 것과는 다름없는 비트리비얼한, 별개의 추론이 필요하다는 것을 드러냈다.