[논문 리뷰] Regularized EM Algorithms: A Unified Framework and Statistical Guarantees

Xinyang Yi, Constantine Caramanis|arXiv (Cornell University)|2015. 11. 27.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 32

한 줄 요약

이 논문은 고차원 잠재변수 모델에 대해 통합된 정규화된 EM 프레임워크를 제안하며, M단계에서 최적화 오차와 통계적 오차를 균형 잡는 적응형 정규화를 도입한다. 이 프레임워크는 정규화 수열과 추정 오차에 대한 최소한의 가정 하에 희소 정규분포 혼합모형, 고차원 혼합 회귀, 결측치가 있는 회귀 모형에 대해 선형 국소 수렴성과 통계적 보장을 확립한다.

ABSTRACT

Latent variable models are a fundamental modeling tool in machine learning applications, but they present significant computational and analytical challenges. The popular EM algorithm and its variants, is a much used algorithmic tool; yet our rigorous understanding of its performance is highly incomplete. Recently, work in Balakrishnan et al. (2014) has demonstrated that for an important class of problems, EM exhibits linear local convergence. In the high-dimensional setting, however, the M-step may not be well defined. We address precisely this setting through a unified treatment using regularization. While regularization for high-dimensional problems is by now well understood, the iterative EM algorithm requires a careful balancing of making progress towards the solution while identifying the right structure (e.g., sparsity or low-rank). In particular, regularizing the M-step using the state-of-the-art high-dimensional prescriptions (e.g., Wainwright (2014)) is not guaranteed to provide this balance. Our algorithm and analysis are linked in a way that reveals the balance between optimization and statistical errors. We specialize our general framework to sparse gaussian mixture models, high-dimensional mixed regression, and regression with missing variables, obtaining statistical guarantees for each of these examples.

연구 동기 및 목표

• 과도하게 파arameter화되어 M단계가 정의되지 않는 고차원 환경에서 EM 알고리즘에 대한 엄밀한 통계적 보장이 부족한 문제를 해결한다.
• 반복적인 EM 업데이트에서 최적화 오차(예: 희소성)와 통계적 오차를 균형 잡는 정규화 수열을 선택하는 과제를 극복한다.
• 최적화 진행 상황과 추정 오차 제어를 연결하는 일반적인 수렴 프레임워크를 제공하여 다양한 고차원 모델에 적용 가능하도록 한다.
• 모수 M단계가 정의되지 않는 경우조차도 비점근적 통계 오차 범위를 갖는 정규화된 EM의 국소 선형 수렴성을 확립한다.
• 구체적인 모형—희소 정규분포 혼합모형, 고차원 혼합 회귀, 공변수 결측이 있는 회귀—에 이 프레임워크를 적용하여 모형별 보장을 제공한다.

제안 방법

• M단계를 반복 과정에서 변화하는 데이터 기반 적응형 정규화 수열을 사용해 수정한 정규화된 EM 알고리즘을 제안한다.
• 새로운 정규화 수열 $\lambda_m^{(t)} = \frac{1 - \kappa^t}{1 - \kappa} \Delta + \kappa^t \frac{\gamma_m}{5\Psi(\overline{\mathcal{S}})} \|\bm{\beta}^{(0)} - \bm{\beta}^*\|$ 를 도입하여 추정 오차와 최적화 오차를 균형 잡음으로써 수렴을 보장한다.
• 이중 노름 $\mathcal{R}(\cdot)$ 와 호환성 조건 $\gamma_m$ 을 포함하는 국소 오차 특성화를 사용하여 진짜 모수와의 거리를 제어한다.
• 귀납법을 통해 수렴을 확립하며, $\|\bm{\beta}^{(t)} - \bm{\beta}^*\| \leq r$ 이면 $\|\bm{\beta}^{(t+1)} - \bm{\beta}^*\| \leq r$ 임을 보여, 반복값이 국소 이웃 내에 유지됨을 보장한다.
• 핵심 부등식 $\|\Theta\| \leq 5\Psi(\overline{\mathcal{S}}) \frac{\lambda_m^{(t)}}{\gamma_m}$ 을 유도하여 추정 오차와 정규화 파라미터, 진짜 모수의 구조를 연결한다.
• 서브가우시안 설계 가정과 유한한 노이즈 하에서 고확률 수렴을 확보하기 위해 확률적 유니온 바운드를 적용한다.

실험 결과

연구 질문

• RQ1 M단계가 정의되지 않는 고차원 환경에서 EM 알고리즘을 어떻게 정규화하여 수렴을 보장할 수 있는가?
• RQ2 EM 반복 과정에서 통계적 오차와 최적화 오차를 균형 잡는 정규화 파라미터의 올바른 수열은 무엇인가?
• RQ3 다양한 고차원 모형에 대해 정규화된 EM에 대한 통계적 보장을 제공하는 통합 프레임워크를 개발할 수 있는가?
• RQ4 비점근적 오차 범위를 갖는 정규화된 EM의 국소 선형 수렴을 보장하는 조건은 무엇인가?
• RQ5 적응형 정규화 수열은 궁극적 추정 오차와 진짜 모수 구조와 어떻게 관련되어 있는가?

주요 결과

• 제안된 정규화된 EM 알고리즘은 모수 M단계가 정의되지 않는 경우조차도 미약한 정규성 조건 하에서 고확률로 선형 국소 수렴성을 달성한다.
• 추정 오차는 $\|\bm{\beta}^{(t)} - \bm{\beta}^*\| \leq \frac{5\Psi(\overline{\mathcal{S}})}{\gamma_m} \frac{1 - \kappa^t}{1 - \kappa} \Delta + \kappa^t \|\bm{\beta}^{(0)} - \bm{\beta}^*\|$ 로 유계이며, $\kappa < 3/4$ 일 때 오차가 지수적으로 감소함을 보장한다.
• 정규화 수열 $\lambda_m^{(t)}$ 는 궁극적 추정 오차에 비례하는 값으로 수렴하도록 명시적으로 구성되어 있어 안정적이고 일관된 업데이트를 가능하게 한다.
• 희소 정규분포 혼합모형에 대해 이 프레임워크는 희소성 하에서 알려진 최소최대 비율과 일치하는 비점근적 통계 오차 범위를 도출한다.
• 고차원 혼합 회귀 및 결측 공변수 회귀에서, 정규화 수열이 $\lambda_m^{(t)} \geq 3\Delta_m + \frac{\alpha\mu\tau}{\gamma\Psi(\overline{\mathcal{S}})} \|\bm{\beta}^{(t-1)} - \bm{\beta}^*\|$ 를 만족할 경우 알고리즘이 일관된 모수 추정과 최적의 표본 복잡도를 달성한다.
• 분석을 통해 최적화 오차(파라미터 $\lambda_m$ 로 제어됨)와 통계 오차(파라미터 $\Delta_m$ 로 제어됨) 사이의 근본적 상충관계가 드러나며, 이는 반복적 정규화 강도 조정을 통해 해결됨을 보여준다.