[논문 리뷰] High Dimensional Expectation-Maximization Algorithm: Statistical Optimization and Asymptotic Normality

Zhaoran Wang, Quanquan Gu외 2명|arXiv (Cornell University)|2014. 12. 30.

Statistical Methods and Inference참고 문헌 42인용 수 32

한 줄 요약

이 논문은 E단계와 M단계에서 모두 절단을 통해 희박성 조건을 부과하는 고차원 EM 알고리즘을 제안하며, 기하수렴을 통해 근사 최적 추정량으로 수렴하고 통계적 수렴 속도가 √(s* log d / n)인 것을 보장한다. 또한 비결합 점수 통계량과 월드 통계량의 점근 정규성을 확립하여 고차원 부수적 매개변수 존재하에서도 저차원 성분에 대한 최적의 추론이 가능함을 보여준다.

ABSTRACT

We provide a general theory of the expectation-maximization (EM) algorithm for inferring high dimensional latent variable models. In particular, we make two contributions: (i) For parameter estimation, we propose a novel high dimensional EM algorithm which naturally incorporates sparsity structure into parameter estimation. With an appropriate initialization, this algorithm converges at a geometric rate and attains an estimator with the (near-)optimal statistical rate of convergence. (ii) Based on the obtained estimator, we propose new inferential procedures for testing hypotheses and constructing confidence intervals for low dimensional components of high dimensional parameters. For a broad family of statistical models, our framework establishes the first computationally feasible approach for optimal estimation and asymptotic inference in high dimensions. Our theory is supported by thorough numerical results.

연구 동기 및 목표

• 기존 EM 알고리즘이 이론적 보장을 제공하지 못하는 고차원 잠재변수 모델에서 계산과 통계의 격차를 메우기 위해.
• 희박성 가정 하에 계산적으로 실현 가능하고 통계적으로 최적인 고차원 매개변수 추정 절차를 개발하기 위해.
• 고차원 매개변수의 저차원 성분에 대한 유효한 통계적 추론—특히 가설 검정과 신뢰구간 구축—을 가능하게 하기 위해.
• 통일된 프레임워크 하에 동시에 계산적(기하수렴) 및 통계적(근사 최소자승 속도) 보장을 확립하기 위해.
• 희박성 유도 절단 단계를 통합하여 EM 알고리즘을 고차원 환경으로 확장함으로써 일관성과 최적성을 보장하기 위해.

제안 방법

• E단계와 M단계 모두에 절단을 적용하여 매개변수 추정량의 희박성을 강제하는 새로운 고차원 EM 알고리즘을 도입한다.
• 진짜 매개변수 주변의 이웃으로 수렴을 보장하기 위해 상수 κ ∈ (0, 1)로 제한된 상대 오차를 갖는 초기화를 사용한다.
• 최적화 오차가 ρ^t/2의 속도로 감소하고 통계적 오차가 √(s* log d / n)의 속도로 감소하는 이중 오차 경계를 통해 기하수렴을 확립한다.
• 고차원 부수적 매개변수의 영향을 제거하기 위해 비결합 점수 통계량과 월드 통계량을 제안한다.
• 비결합 통계량의 점근 정규성을 활용하여 반세미모델 정보한계를 달성하는 신뢰구간을 구축한다.
• 일반적인 분석을 통해 가우시안 혼합, 혼합 회귀, 누락 공변수를 가진 회귀 등 다양한 모델에 적용 가능한 프레임워크를 지원한다.

실험 결과

연구 질문

• RQ1 EM 알고리즘이 고차원 잠재변수 모델에서 기하수렴과 최적 통계적 수렴 속도를 달성하도록 어떻게 적응시킬 수 있는가?
• RQ2 d ≫ n 조건에서 고차원 매개변수 추정의 일관성을 확보하기 위해 희박성은 어떻게 효과적으로 강제할 수 있는가?
• RQ3 고차원 부수적 매개변수가 존재하더라도 고차원 매개변수의 저차원 성분에 대한 유효한 신뢰구간을 어떻게 구성할 수 있는가?
• RQ4 제안된 비결합 점수 통계량과 월드 통계량이 고차원 환경에서 점근 정규성과 최적 분산을 달성할 수 있는가?
• RQ5 최적화 및 통계적 효율성 측면에서 고차원 EM 알고리즘에 대해 어떤 이론적 보장을 확립할 수 있는가?

주요 결과

• 제안된 고차원 EM 알고리즘은 기하수렴을 통해 국소 최대점으로 수렴하며, 추정 오차가 ∆1 · ρ^t/2 + ∆2 · √(s* log d / n)로 유계임을 보이며, (근사 최적의) 통계적 수렴 속도를 달성한다.
• 최적화 오차는 기하수렴 속도 ρ^t/2로 감소하여 초기화 오차가 κ ∈ (0, 1) 범위 내에 있을 경우 빠른 수렴을 보장한다.
• 통계적 오차 항 ∆2 · √(s* log d / n)는 고차원 희박 추정에서 (근사 최소자승) 최적 속도와 일치한다.
• 비결합 점수 통계량과 월드 통계량은 점근 정규성을 보이며 반세미모델 정보한계를 달성하여 저차원 성분에 대한 추론에서 최적 분산을 확보한다.
• 정확한 및 근사적인 M단계 구현 방식을 모두 지원하여 계산 유연성을 높인다.
• 수치 결과는 이론적 결과를 검증하며, 가우시안 혼합 모델, 혼합 회귀, 누락 공변수 회귀 등 다양한 상황에서 알고리즘의 효과성을 입증한다.