[论文解读] EM Converges for a Mixture of Many Linear Regressions

Jeongyeol Kwon, Constantine Caramanis|arXiv (Cornell University)|May 28, 2019

Statistical Methods and Inference参考文献 20被引用 10

一句话总结

该论文在有限信噪比（SNR）下，首次为具有 $k \geq 3$ 个分量的线性回归混合模型中的期望最大化（EM）算法建立了全局收敛性保证。结果表明，当 SNR 为 $\tilde{\Omega}(k)$ 时，良好初始化的 EM 算法可收敛至真实参数，实现噪声趋近于零时的精确恢复，且统计误差与参数范数无关。

ABSTRACT

We study the convergence of the Expectation-Maximization (EM) algorithm for mixtures of linear regressions with an arbitrary number $k$ of components. We show that as long as signal-to-noise ratio (SNR) is $ ildeΩ(k)$, well-initialized EM converges to the true regression parameters. Previous results for $k \geq 3$ have only established local convergence for the noiseless setting, i.e., where SNR is infinitely large. Our results enlarge the scope to the environment with noises, and notably, we establish a statistical error rate that is independent of the norm (or pairwise distance) of the regression parameters. In particular, our results imply exact recovery as $σ ightarrow 0$, in contrast to most previous local convergence results for EM, where the statistical error scaled with the norm of parameters. Standard moment-method approaches may be applied to guarantee we are in the region where our local convergence guarantees apply.

研究动机与目标

• 解决在有限噪声下，多分量线性回归混合模型中 EM 算法缺乏理论收敛保证的问题。
• 将先前仅限于无噪声情形或 $k=2$ 的局部收敛结果，推广至 $k \geq 3$ 个分量且在有限 SNR 下的情形。
• 建立与参数范数或成对距离无关的统计误差率，实现在 $\sigma \to 0$ 时的精确恢复。
• 提供一个框架，其中基于矩的初始化可确保 EM 算法进入局部收敛区域，从而连接实际初始化与理论保证。

提出的方法

• 分析具有独立同分布高斯协变量和次高斯噪声的 $k$ 个分量线性回归混合模型下的总体 EM 算法。
• 提出一种新颖的 EM 更新分解方法，将更新项分解为参数偏差 $\Delta_l$、噪声 $e$ 和分量特定权重 $w_l^u$ 的形式。
• 引入基于事件的分析方法，利用 $\mathcal{E}_{1,l}$ 和 $\mathcal{E}_{2,l}$ 控制 $X$ 中二次型的尾部行为。
• 通过矩不等式和尾部概率估计，结合次高斯与次指数尾部界，界定向量更新的期望平方误差。
• 设定 $\tau_l = \Theta(\sqrt{\log(R_{jl}^* \rho_\pi)})$ 且 $\tau_l = O(\sqrt{\log k})$，以平衡误差项，实现 $O(\|\Delta_l\|^2)$ 或 $O(\|\Delta_l\|^2 \log k)$ 的界。
• 在良好初始化条件下，通过参数空间中的压缩性证明收敛性，且误差量级与 $\|\beta_j^*\|$ 无关。

实验结果

研究问题

• RQ1 在有限 SNR 下，对于 $k \geq 3$ 个分量的线性回归混合模型，EM 是否能全局收敛至真实参数？
• RQ2 EM 的统计误差是否随回归参数的范数而变化，还是可实现与该范数无关的误差？
• RQ3 基于矩的初始化技术能否在噪声存在且多分量的设定下，被严格关联到 EM 收敛的吸引域？
• RQ4 在良好初始化下，确保 EM 收敛的 SNR 阈值是多少？该阈值如何随 $k$ 变化？
• RQ5 有限样本 EM 算法的误差率与总体水平的收敛性相比如何？其在无噪声极限下是否能实现精确恢复？

主要发现

• 当 SNR 为 $\tilde{\Omega}(k)$ 且初始化与真实参数的距离在 $\tilde{O}(1/k)$ 以内时，EM 以高概率收敛至真实回归参数。
• 有限样本 EM 算法的统计误差为 $\tilde{O}(\sigma \sqrt{k^2 d / n})$，与回归参数的范数无关。
• 当 $\sigma \to 0$ 时可实现精确恢复，即使在有限样本下也成立，这与以往结果中误差随参数范数变化的情况形成对比。
• 该分析在良好初始化条件下建立了参数空间中的压缩性质，且误差界与 $\|\beta_j^*\|$ 解耦。
• 收敛保证同时适用于总体和有限样本 EM 算法，推广了以往针对 $k=2$ 的结果，并将其扩展至含噪声和高维设定。
• 结果表明，基于矩的初始化技术可将 EM 算法置于吸引域内，从而实现具有理论保证的实际部署。