[논문 리뷰] Convergence Analysis of Gradient EM for Multi-component Gaussian Mixture

Bowei Yan, Mingzhang Yin외 1명|arXiv (Cornell University)|2017. 05. 23.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 3

한 줄 요약

이 논문은 임의의 수의 성분과 알려진 혼합 계수를 가진 다성분 가우시안 혼합 모델(GMMs)에 대해 경사수렴 EM 알고리즘의 수렴 분석을 제공한다. 학습 이론과 경험 과정 도구를 사용하여, 좋은 초기화 조건 하에서 비점근적 보장을 확립함으로써, 혼합 계수, 쌍별 중심 거리, 차원 수에 따라 달라지는 근사 최적의 국소 수축 반경과 수렴 속도를 도출한다.

ABSTRACT

In this paper, we study convergence properties of the gradient Expectation-Maximization algorithm \cite{lange1995gradient} for Gaussian Mixture Models for general number of clusters and mixing coefficients. We derive the convergence rate depending on the mixing coefficients, minimum and maximum pairwise distances between the true centers and dimensionality and number of components; and obtain a near-optimal local contraction radius. While there have been some recent notable works that derive local convergence rates for EM in the two equal mixture symmetric GMM, in the more general case, the derivations need structurally different and non-trivial arguments. We use recent tools from learning theory and empirical processes to achieve our theoretical results.

연구 동기 및 목표

• 두 성분 대칭 케이스를 초월한 일반적인 다성분 가우시안 혼합 모델에서 경사수렴 EM의 수렴 행동을 이해하기 위해.
• 혼합 계수, 중심 간 분리도, 차원 수 등 모델 파라미터에 따라 의존하는 비점근적 수렴 속도와 국소 수축 반경을 유도하기 위해.
• 이전 연구에서의 열악한 반경보다 개선된 근사 최적의 수축 영역을 경사수렴 EM에 대해 확립하기 위해.
• 표본 기반 균일 농도 경계를 통해 스 tochastic gradient EM로까지 확장 가능한 이론적 보장을 제공하기 위해.

제안 방법

• 분석은 경험 과정 이론과 농도 부등식을 사용하여 인구와 경험적 경사 연산자 간의 균일한 이탈을 제한한다.
• 매개변수 영역 전체에서 경사 차이의 Supremum를 제어하기 위해 $ e^{2d} $-넷을 사용한 커버링 추론을 시행한다.
• 진짜 경사와 경험적 경사 간의 차이에 대해 균일 이탈 경계 $ \epsilon^{\text{unif}}(n) \propto M^{3/2}(1+3R_{\max})^3 \max\{1,\log \kappa\} \sqrt{\frac{d \log n}{n}} $ 를 도입한다.
• 경사 성분의 유계성에 기반한 서브가우시안 농도 추론을 활용하여 경사 차이에 대한 분석을 수행한다. 이는 $ R_{\max} $ 를 통해 실현 가능하다.
• 수축 영역은 $ \mathbb{A} = \prod_{i=1}^M \mathbb{B}(\bm{\mu}_i^*, a) $ 로 정의되며, 좋은 초기화 조건 하에서 이 영역 내에서 수렴이 보장된다.
• 조합론적 추론과 尾 꼬리 경계를 사용하여 확률적 초기화 경계를 도출하였으며, 이에 따라 $ \mathcal{O}\left( \frac{\log(1/\delta)}{\sqrt{2\pi M}} \left( \frac{e}{1 - e^{-a\sqrt{d}/2}} \right)^M \right) $ 개의 초기화가 고도의 확률로 좋은 시작을 확보하는 데 충분함을 보였다.

실험 결과

연구 질문

• RQ1 임의의 혼합 계수와 성분 중심을 가진 일반적인 다성분 GMMs에 대해 경사수렴 EM의 수렴 속도는 무엇인가?
• RQ2 경사수렴 EM의 국소 수축 반경은 성분 수, 차원 수, 중심 간 최소 분리도에 따라 어떻게 척도화되는가?
• RQ3 두 성분이 동일한 경우를 초월하여 일반 GMM 설정에서 경사수렴 EM에 대해 근사 최적의 수축 반경을 확립할 수 있는가?
• RQ4 고차원 GMMs에서 높은 확률로 좋은 시작점을 확보하기 위해 필요한 초기화 수는 얼마인가?
• RQ5 표본 기반 균일 농도 경계는 어떻게 하여 경사수렴 EM과 그 스 tochastic 변형에 대해 비점근적 수렴 보장을 가능하게 하는가?

주요 결과

• 경사수렴 EM의 수렴 속도는 혼합 계수, 진짜 중심 간 최소 및 최대 쌍별 거리, 차원 수 및 성분 수에 따라 달라짐을 입증하였다.
• 이전 연구에서 두 성분이 동일한 경우에 대해 열악한 반경을 개선한 근사 최적의 국소 수축 반경을 도출하였다.
• 고도의 확률로 진짜 경사와 경험적 경사 간의 균일 이탈은 $ \epsilon^{\text{unif}}(n) = cM^{3/2}(1+3R_{\max})^3\max\{1,\log(\kappa)\}\sqrt{\frac{d\log n}{n}} $ 로 제한된다.
• 고도의 확률로, 초기 추정치가 진짜 매개변수의 이웃에 있을 경우 경사수렴 EM 알고리즘이 수축 영역 $ \mathbb{A} $ 내에서 선형 수렴한다.
• 좋은 시작을 확보하기 위해 필요한 초기화 수는 $ \mathcal{O}\left( \frac{\log(1/\delta)}{\sqrt{2\pi M}} \left( \frac{e}{1 - e^{-a\sqrt{d}/2}} \right)^M \right) $ 로 제한되며, 이는 고도의 확률로 좋은 초기화를 보장한다.
• 이론적 프레임워크는 즉각적으로 Stochastic Gradient EM로 확장되며, 동일한 조건 하에서 비점근적 수렴 보장을 제공한다.