[论文解读] Convergence of Parameter Estimates for Regularized Mixed Linear Regression Models

Taiyao Wang, Ioannis Ch. Paschalidis|arXiv (Cornell University)|Mar 21, 2019

Statistical Methods and Inference参考文献 28被引用 4

一句话总结

本文提出了一种用于正则化混合线性回归（MLR）的混合整数规划（MIP）公式，并提供了收敛性保证。在无噪声情况下且满足聚类可分性时，该方法建立了参数估计几乎必然收敛到真实系数的结果；对于单聚类模型，在马林加尔差噪声下也展示了收敛性。然而，对于多聚类模型中的噪声数据，通过反例表明，由于参数不可识别性，强一致性可能不成立。

ABSTRACT

We consider {\em Mixed Linear Regression (MLR)}, where training data have been generated from a mixture of distinct linear models (or clusters) and we seek to identify the corresponding coefficient vectors. We introduce a {\em Mixed Integer Programming (MIP)} formulation for MLR subject to regularization constraints on the coefficient vectors. We establish that as the number of training samples grows large, the MIP solution converges to the true coefficient vectors in the absence of noise. Subject to slightly stronger assumptions, we also establish that the MIP identifies the clusters from which the training samples were generated. In the special case where training data come from a single cluster, we establish that the corresponding MIP yields a solution that converges to the true coefficient vector even when training data are perturbed by (martingale difference) noise. We provide a counterexample indicating that in the presence of noise, the MIP may fail to produce the true coefficient vectors for more than one clusters. We also provide numerical results testing the MIP solutions in synthetic examples with noise.

研究动机与目标

• 在一般噪声和特征条件下，建立混合线性回归模型参数估计的强一致性。
• 开发一种将基于范数的正则化引入MLR的混合整数规划（MIP）公式。
• 分析随着样本量增加，MIP解收敛到真实系数向量的收敛性。
• 研究MIP在MLR中正确识别聚类成员关系的条件。
• 考察MIP方法在噪声下的鲁棒性，特别是在多聚类设定下。

提出的方法

• 将混合线性回归建模为带有系数向量正则化约束的混合整数规划（MIP）。
• 采用MIP框架联合估计聚类分配与回归系数。
• 应用最小二乘估计强一致性理论的技术，并将其适应到弱于原始假设的MIP公式下。
• 利用反例证明，在多聚类MLR中，由于参数不可识别性，强一致性可能失败，即使目标函数值被最小化。
• 使用GUROBI 8.0和Python在具有高斯噪声和均匀噪声的合成数据上进行数值实验。
• 通过样本量 $n$ 的函数 $\|\boldsymbol{\beta}^n_k - \boldsymbol{\beta}_k\|$ 来评估收敛性。

实验结果

研究问题

• RQ1 在无噪声情况下，所提出的正则化MLR的MIP公式是否能使得参数估计以几乎必然的方式收敛到真实系数？
• RQ2 在何种条件下，MIP解能够正确识别每个训练样本的聚类归属？
• RQ3 当数据受到马林加尔差噪声扰动时，MIP方法在单聚类情况下是否能保持强一致性，特别是单聚类情形？
• RQ4 为何在噪声环境下MIP在多聚类模型中无法恢复真实参数？其结构性限制是什么？
• RQ5 在不同噪声分布和聚类可分性条件下，MIP估计的收敛速率表现如何？

主要发现

• 在无噪声情况下，随着训练样本数量的增加，MIP解几乎必然收敛到真实系数向量。
• 在聚类可分性假设下，MIP解能正确识别每个样本所属的聚类。
• 对于单个聚类且具有马林加尔差噪声的情况，MIP解在弱分布假设下收敛到真实系数向量。
• 反例表明，在多聚类模型中存在噪声时，由于不可识别性，MIP可能无法恢复真实参数，即使目标函数值已被最小化。
• 数值结果表明，当聚类分离良好时，收敛性几乎等同于单独的线性回归，即使在高斯噪声和均匀噪声下也成立。
• 随着样本量增加，参数估计的收敛速率得到改善，且MIP公式在一致性保证方面优于标准的EM型方法。