[논문 리뷰] On the Convergence of the EM Algorithm: A Data-Adaptive Analysis

Chong Wu, Can Yang외 2명|arXiv (Cornell University)|2016. 11. 02.

Bayesian Methods and Mixture Models참고 문헌 8인용 수 14

한 줄 요약

이 논문은 EM 알고리즘의 유한 표본 수렴 속도에 대한 데이터 적응형 분석을 제안하며, 이 속도가 데이터 생성 분포에 따라 달라지는 랜덤 변수 $\overline{K}_n$ 임을 보여준다. 비점근적 농도 경계를 확립하여 $n \to \infty$ 일 때 $\overline{K}_n \to \overline{\kappa}$ 가 확률적으로 성립함을 증명함으로써, 완전한 표본에서 EM 수렴이 인구 수준 버전보다 빠를 수 있는 이유를 설명한다.

ABSTRACT

The Expectation-Maximization (EM) algorithm is an iterative method to maximize the log-likelihood function for parameter estimation. Previous works on the convergence analysis of the EM algorithm have established results on the asymptotic (population level) convergence rate of the algorithm. In this paper, we give a data-adaptive analysis of the sample level local convergence rate of the EM algorithm. In particular, we show that the local convergence rate of the EM algorithm is a random variable $\overline{K}_{n}$ derived from the data generating distribution, which adaptively yields the convergence rate of the EM algorithm on each finite sample data set from the same population distribution. We then give a non-asymptotic concentration bound of $\overline{K}_{n}$ on the population level optimal convergence rate $\overlineκ$ of the EM algorithm, which implies that $\overline{K}_{n} o\overlineκ$ in probability as the sample size $n o\infty$. Our theory identifies the effect of sample size on the convergence behavior of sample EM sequence, and explains a surprising phenomenon in applications of the EM algorithm, i.e. the finite sample version of the algorithm sometimes converges faster even than the population version. We apply our theory to the EM algorithm on three canonical models and obtain specific forms of the adaptive convergence theorem for each model.

연구 동기 및 목표

• 동일한 모집단에서 유도된 다양한 데이터 세트에서 EM 알고리즘의 유한 표본 수렴 행동을 이해하기 위해.
• 유한 표본 EM 수렴이 인구 수준 버전보다 빠를 수 있다는 직관에 어긋나는 현상을 설명하기 위해.
• 단순히 점근적 근사에 의존하는 대신 표본에 특화된 역학을 반영하는 데이터 적응형 수렴 속도 프레임워크를 개발하기 위해.
• 표본 수준 수렴 속도 $\overline{K}_n$ 와 인구 수준 최적 속도 $\overline{\kappa}$ 를 연결하는 비점근적 농도 경계를 유도하기 위해.
• 기본 모델들(예: 정규 분포 혼합 모델)에 이론을 적용하고, 모델에 특화된 적응형 수렴 정리들을 도출하기 위해.

제안 방법

• 표본의 $Q$-함수와 데이터 생성 분포로부터 유도된 랜덤 변수인 데이터 적응형 수렴 속도 $\overline{K}_n$ 를 도입한다.
• 서브가우시안 및 서브지수 랜덤 벡터에 대한 농도 부등식을 사용하여 $\overline{K}_n$ 이 인구 수준 속도 $\overline{\kappa}$ 로부터 벗어나지 않도록 제한한다.
• 넷 기반 커버링 추론과 모멘트 생성 함수 기법을 활용하여 i.i.d. 랜덤 벡터의 표본 평균의 연산자 노름을 제어한다.
• 체르노프 부등식을 활용하여 $\left\|\frac{1}{n}\sum_{k=1}^n Y_k\right\| \leq CK\sqrt{\frac{\log(L/\delta)}{n}}$ 와 같은 고확률 농도 부등식을 유도한다.
• $n \to \infty$ 일 때 $\overline{K}_n \to \overline{\kappa}$ 가 확률적으로 성립함을 증명하여 데이터 적응형 속도의 일致성을 검증한다.
• 정규 분포 혼합 모델을 포함한 세 가지 기본 모델에 대해 적응형 수렴 정리의 명시적 형태를 도출한다.

실험 결과

연구 질문

• RQ1 왜 일부 유한 표본 EM 수렴이 인구 수준 EM 알고리즘보다 더 빠를 수 있는가?
• RQ2 동일한 분포에서 추출된 다양한 유한 표본 간에 EM 알고리즘의 수렴 속도는 어떻게 변화하는가?
• RQ3 표본 수준 수렴 속도를 고정된 점근적 값이 아닌, 데이터에 적응하는 랜덤 변수로 모델링할 수 있는가?
• RQ4 표본 수준 수렴 속도 $\overline{K}_n$ 가 인구 수준 속도 $\overline{\kappa}$ 를 중심으로 비점근적으로 어떻게 농도를 이루는가?
• RQ5 기본 잠재 변수 모델에서 데이터 적응형 수렴 속도를 공식적으로 특성화하고 경계할 수 있는가?

주요 결과

• 어느 유한 표본에 대해서든 EM 알고리즘의 국소 수렴 속도는 데이터 집합에 따라 달라지는 랜덤 변수 $\overline{K}_n$ 이다.
• 데이터 적응형 속도 $\overline{K}_n$ 는 표본 크기 $n$ 이 증가함에 따라 인구 수준 최적 속도 $\overline{\kappa}$ 로 확률적으로 수렴한다.
• 비점근적 농도 경계가 확립되었으며, $\left\|\frac{1}{n}\sum_{k=1}^n Y_k\right\| \leq CK\sqrt{\frac{\log(L/\delta)}{n}}$ 는 확률 적어도 $1 - \delta$ 에서 성립한다.
• 이론은 특정 데이터 실현이 유리하게 작용할 경우, 유한 표본 EM 수렴이 인구 수준 버전보다 빠를 수 있다는 경험적 관찰을 설명한다.
• 정규 분포 혼합 모델과 같은 기본 모델들에 대해, 본 논문은 적응형 수렴 정리의 명시적 형태를 도출하여 모델 구조와 수렴 역학을 연결한다.
• 결과적으로 이는 인구 수준 점근적 분석을 넘어서 표본 특화된 수렴 행동을 이해하기 위한 이론적 기반을 제공한다.