[论文解读] Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models

Babak Barazandeh, Ali Ghafelebashi+2 more|arXiv (Cornell University)|May 12, 2021

Statistical Methods and Inference参考文献 33被引用 4

一句话总结

本文提出了一种新颖的ADMM-EM混合算法，用于在非高斯噪声（特别是拉普拉斯噪声）下的混合线性回归（MLR）模型中进行最大似然估计，其中传统EM算法因缺乏闭式更新而失效。该方法重新表述了MLE问题，使每个ADMM子问题都能实现闭式更新，在非高斯设定下实现了优于EM的统计精度和计算效率。

ABSTRACT

Mixed linear regression (MLR) model is among the most exemplary statistical tools for modeling non-linear distributions using a mixture of linear models. When the additive noise in MLR model is Gaussian, Expectation-Maximization (EM) algorithm is a widely-used algorithm for maximum likelihood estimation of MLR parameters. However, when noise is non-Gaussian, the steps of EM algorithm may not have closed-form update rules, which makes EM algorithm impractical. In this work, we study the maximum likelihood estimation of the parameters of MLR model when the additive noise has non-Gaussian distribution. In particular, we consider the case that noise has Laplacian distribution and we first show that unlike the the Gaussian case, the resulting sub-problems of EM algorithm in this case does not have closed-form update rule, thus preventing us from using EM in this case. To overcome this issue, we propose a new algorithm based on combining the alternating direction method of multipliers (ADMM) with EM algorithm idea. Our numerical experiments show that our method outperforms the EM algorithm in statistical accuracy and computational time in non-Gaussian noise case.

研究动机与目标

• 解决在非高斯噪声（如拉普拉斯噪声）下EM算法在混合线性回归中因子问题缺乏闭式解而带来的局限性。
• 为非高斯噪声下的MLR模型中的最大似然估计开发一种可扩展且高效的优化方法。
• 通过结合ADMM与EM启发式更新，克服EM在拉普拉斯噪声场景下的计算瓶颈。
• 提供一种数值稳定且快速的算法，在高维和大规模MLR问题中保持高统计精度。

提出的方法

• 重新表述混合线性回归的最大似然估计（MLE）目标，使其适用于ADMM优化。
• 引入变量分裂技术，将分量权重与回归系数的估计解耦。
• 使用ADMM求解重构后的问题，确保每个子问题均有闭式更新，从而实现高效计算。
• 将EM中软分配的思想（通过后验概率）与ADMM的交替最小化框架相结合。
• 采用带惩罚参数ρ的对偶上升步骤，以在变量间强制达成一致性，确保收敛性。
• 推导出在高斯噪声和拉普拉斯噪声情况下，回归系数与辅助变量的闭式更新。

实验结果

研究问题

• RQ1 我们能否在噪声为非高斯（如拉普拉斯噪声）时，为混合线性回归中的最大似然估计开发一种高效算法？
• RQ2 标准EM算法为何在拉普拉斯噪声下无法提供闭式更新，这一问题能否被克服？
• RQ3 ADMM能否与EM类迭代更新有效结合，以求解具有非高斯噪声的非凸MLR问题？
• RQ4 所提出的ADMM-EM混合算法在拉普拉斯噪声下是否在估计精度和计算速度上均优于EM？
• RQ5 所提出的方法在混合线性回归中不同分量数和维度下是否具有可扩展性和鲁棒性？

主要发现

• 在拉普拉斯噪声情况下，所提出的ADMM-EM混合算法的恢复误差显著低于EM，配对t检验拒绝了EM表现更好的原假设（p < 0.05）。
• 该算法在计算效率上优于EM，由于EM在每个EM步骤中需求解昂贵的线性规划，导致每轮运行多耗时1.6至10分钟。
• 所提方法在所有子问题中均保持闭式更新，即使在高维设置下也能实现快速且可扩展的优化。
• 在高斯噪声情况下，两种方法在精度上表现相当，但所提算法因更新规则更高效而保持更快速度。
• 在1950个数据点上进行30次重复的数值实验，证实了该方法在不同K（2–14个分量）和d（1–5个维度）下的鲁棒性与一致性。
• 该算法收敛可靠，实现高统计精度，表中报告了高斯和拉普拉斯噪声场景下的平均恢复误差（均值±标准差）。