[论文解读] Estimating the Coefficients of a Mixture of Two Linear Regressions by Expectation Maximization

Jason M. Klusowski, Dana Yang+1 more|arXiv (Cornell University)|Apr 26, 2017

Bayesian Methods and Mixture Models参考文献 27被引用 3

一句话总结

本文为对称两分量线性回归混合模型中期望最大化（EM）算法的系数估计建立了收敛性保证。证明了当初始值位于与目标参数夹角余弦足够大的无界锥内时，EM 迭代收敛至真实参数向量，且收敛速率达到参数速率；同时表明，当该夹角过小时，总体 EM 算子呈现反收缩性，因此需要锥形初始化条件。

ABSTRACT

We give convergence guarantees for estimating the coefficients of a symmetric mixture of two linear regressions by expectation maximization (EM). In particular, we show that the empirical EM iterates converge to the target parameter vector at the parametric rate, provided the algorithm is initialized in an unbounded cone. In particular, if the initial guess has a sufficiently large cosine angle with the target parameter vector, a sample-splitting version of the EM algorithm converges to the true coefficient vector with high probability. Interestingly, our analysis borrows from tools used in the problem of estimating the centers of a symmetric mixture of two Gaussians by EM. We also show that the population EM operator for mixtures of two regressions is anti-contractive from the target parameter vector if the cosine angle between the input vector and the target parameter vector is too small, thereby establishing the necessity of our conic condition. Finally, we give empirical evidence supporting this theoretical observation, which suggests that the sample based EM algorithm performs poorly when initial guesses are drawn accordingly. Our simulation study also suggests that the EM algorithm performs well even under model misspecification (i.e., when the covariate and error distributions violate the model assumptions).

研究动机与目标

• 为对称两分量线性回归混合模型中 EM 算法的参数估计提供理论收敛性保证。
• 识别 EM 收敛至真实系数向量的高概率条件。
• 通过分析总体 EM 算子的反收缩行为，证明锥形初始化条件的必要性。
• 将分析与高斯混合估计中的类似问题相联系，借鉴该领域的方法工具。
• 在模型误设条件下通过实证证据验证理论发现。

提出的方法

• 作者分析了具有 i.i.d. 标准正态协变量和 Rademacher 混合权重的对称两分量线性回归混合模型的总体 EM 算子。
• 证明总体 EM 算子在真实参数向量周围的无界锥内是压缩的，从而确保从该区域内收敛。
• 分析借助了高斯位置混合模型中 EM 理论的工具，特别是对标准正态累积分布函数和概率密度函数涉及的尾部概率与期望进行界定。
• 利用矩生成函数和 Jensen 不等式推导关键不等式，以界定压缩模量和统计误差项。
• 分析了样本分割版本的 EM 算法，以分离算法收敛与统计收敛，从而实现高概率收敛保证。
• 当初始猜测与真实参数之间的余弦夹角过小时，确立了 EM 算子的反收缩性质，从而证明了锥形初始化条件的合理性。

实验结果

研究问题

• RQ1 在对称两分量线性回归混合模型中，EM 算法在何种条件下收敛至真实参数向量？
• RQ2 经验 EM 迭代的收敛速率是多少？能否达到参数速率？
• RQ3 为何必须在真实参数附近的特定锥形区域内进行初始化才能保证收敛？
• RQ4 当初始猜测与真实参数对齐不佳时，总体 EM 算子的行为如何？
• RQ5 在模型误设（如非高斯协变量或误差）条件下，EM 算法是否仍具鲁棒性？

主要发现

• 当初始值位于与目标参数夹角余弦足够大的无界锥内时，经验 EM 迭代以参数速率 $ O(1/ ext{样本量}) $ 收敛至真实参数向量。
• 当输入与目标之间的余弦夹角过小时，总体 EM 算子从真实参数向量出发呈现反收缩性，从而证明了锥形初始化条件的必要性。
• 样本分割版本的 EM 算法在相同锥形初始化条件下实现了对真实参数向量的高概率收敛。
• 利用矩生成函数和标准正态分布的尾部界，推导出了压缩模量和统计误差项的理论界。
• 实证结果表明，当初始猜测来自余弦夹角较小的区域时，EM 表现不佳，支持了反收缩性分析。
• 模拟研究显示，即使协变量或误差分布偏离模型假设，该算法仍具鲁棒性，EM 表现良好。