[论文解读] High Dimensional Expectation-Maximization Algorithm: Statistical Optimization and Asymptotic Normality

Zhaoran Wang, Quanquan Gu+2 more|arXiv (Cornell University)|Dec 30, 2014

Statistical Methods and Inference参考文献 42被引用 32

一句话总结

本文提出了一种高维EM算法，通过在E步和M步中引入截断以强制实现稀疏性，实现了到近似最优估计量的几何收敛，统计收敛速率达到√(s* log d / n)的量级。此外，该文建立了去相关得分统计量和Wald统计量的渐近正态性，使得在存在高维干扰参数的情况下，仍能对低维分量实现最优推断。

ABSTRACT

We provide a general theory of the expectation-maximization (EM) algorithm for inferring high dimensional latent variable models. In particular, we make two contributions: (i) For parameter estimation, we propose a novel high dimensional EM algorithm which naturally incorporates sparsity structure into parameter estimation. With an appropriate initialization, this algorithm converges at a geometric rate and attains an estimator with the (near-)optimal statistical rate of convergence. (ii) Based on the obtained estimator, we propose new inferential procedures for testing hypotheses and constructing confidence intervals for low dimensional components of high dimensional parameters. For a broad family of statistical models, our framework establishes the first computationally feasible approach for optimal estimation and asymptotic inference in high dimensions. Our theory is supported by thorough numerical results.

研究动机与目标

• 弥合高维潜在变量模型中计算与统计之间的差距，其中传统EM算法缺乏理论保证。
• 在稀疏性假设下，开发一种计算上可行且统计上最优的高维参数估计方法。
• 实现对高维参数中低维分量的有效统计推断——特别是假设检验与置信区间构造。
• 在统一框架下，同时建立计算（几何收敛）与统计（近最小最大率）的保证。
• 通过引入促进稀疏性的截断步骤，将EM算法扩展至高维设置，确保估计的一致性与最优性。

提出的方法

• 提出一种新颖的高维EM算法，在E步与M步中均应用截断，以在参数估计量中强制实现稀疏性。
• 采用相对误差有界于常数κ ∈ (0, 1)的初始化方式，以确保收敛至接近真实参数的邻域。
• 通过双项误差界建立几何收敛性：优化误差以ρ^t/2的速率衰减，统计误差以√(s* log d / n)的速率衰减。
• 提出去相关得分统计量与Wald统计量，以消除高维干扰参数对低维分量推断的影响。
• 利用去相关统计量的渐近正态性，构造达到半参数信息界限的置信区间。
• 通过适用于多种模型的通用分析支持该框架，包括高斯混合模型、混合回归模型以及协变量缺失的回归模型。

实验结果

研究问题

• RQ1 EM算法能否被调整以在高维潜在变量模型中实现几何收敛与最优统计速率？
• RQ2 如何在EM框架中有效强制实现稀疏性，以确保在d ≫ n时估计的一致性？
• RQ3 即使存在高维干扰参数，是否仍可为高维参数的低维分量构造有效的置信区间？
• RQ4 所提出的去相关得分统计量与Wald统计量在高维设置下是否能达到渐近正态性与最优方差？
• RQ5 在优化效率与统计效率两方面，该高维EM算法可建立哪些理论保证？

主要发现

• 所提出的高维EM算法以几何速率收敛至局部最大值，估计误差被限制在∆1 · ρ^t/2 + ∆2 · √(s* log d / n)范围内，实现了（近似）最优统计收敛速率。
• 优化误差以几何速率ρ^t/2衰减，当初始化相对误差在κ ∈ (0, 1)范围内时，可确保快速收敛。
• 统计误差项∆2 · √(s* log d / n)与高维稀疏估计的（近似）最小最大最优率一致。
• 去相关得分统计量与Wald统计量渐近服从正态分布，并达到半参数信息界限，确保对低维分量推断的最优方差。
• 该框架支持精确与近似M步实现，包括梯度上升法，提升了计算灵活性。
• 数值结果验证了理论发现，表明该算法在高斯混合模型、混合回归模型以及协变量缺失的回归模型中均表现出色。