[论文解读] An Investigation of Methods for Handling Missing Data with Penalized Regression

Yunjin Choi, Robert Tibshirani|arXiv (Cornell University)|Oct 8, 2013

Statistical Methods and Inference参考文献 9被引用 4

一句话总结

本论文提出了一种非负定协方差方法，用于处理缺失数据的惩罚回归，采用目标函数的无偏估计器，并结合保持凸性的ℓ₂正则化。该方法进一步通过平衡参数将该方法与均值插补相结合，形成混合方法，在高信号缺失性和相关设计下，相较于均值插补，表现出更优的均方误差（MSE）性能。

ABSTRACT

We investigate methods for penalized regression in the presence of missing observations. This paper introduces a method for estimating the parameters which compensates for the missing observations. We first, derive an unbiased estimator of the objective function with respect to the missing data and then, modify the criterion to ensure convexity. Finally, we extend our approach to a family of models that embraces the mean imputation method. These approaches are compared to the mean imputation method, one of the simplest methods for dealing with missing observations problem, via simulations. We also investigate the problem of making predictions when there are missing values in the test set.

研究动机与目标

• 解决预测变量包含缺失值时应用惩罚回归的挑战。
• 开发一种在统计上合理地处理缺失数据的同时保持目标函数凸性的方法。
• 通过将协方差结构融入插补过程，改进简单均值插补，以提高估计精度。
• 为不完整测试集的交叉验证与预测提供实用指导。
• 在各种缺失数据模式下，评估所提方法相对于均值插补和真实协方差方法的性能。

提出的方法

• 在缺失随机（MAR）假设下，推导惩罚回归目标函数的无偏估计器。
• 通过添加ℓ₂正则化修改无偏估计器，以确保凸性，从而实现高效优化。
• 引入一种混合方法，通过平衡参数η将非负定协方差方法与均值插补相结合。
• 在训练集和测试集中，使用估计的协方差矩阵 $ C_{ZZ}^{\hat{\eta}} + (|\Lambda_{\text{min}}| + \hat{\lambda}(1 - \hat{\alpha}))I $ 对缺失值进行插补。
• 采用循环坐标下降进行优化，利用S(·, γ)算子实现软阈值化。
• 在测试集不完整的情况下应用交叉验证，使用基于估计协方差的条件期望进行预测。

实验结果

研究问题

• RQ1 在各种缺失数据模式下，所提出的非负定协方差方法与均值插补相比，其均方误差（MSE）表现如何？
• RQ2 通过平衡参数η将非负定协方差方法与均值插补结合，是否能获得优于单一方法的性能？
• RQ3 当数据不完整时，利用交叉验证选择最优正则化参数（α, λ, η）的有效性如何？
• RQ4 在测试集中插补缺失值时，使用估计协方差矩阵、真实协方差矩阵或单位矩阵的影响是什么？
• RQ5 当测试样本包含缺失值时，应如何进行交叉验证与预测？

主要发现

• 非负定协方差方法在MSE上始终优于均值插补，尤其在信号变量缺失率较高时表现更优（例如，在Σ₃下高信号缺失时，MSE比值为1.43 vs. 1.21）。
• 在均匀缺失率场景下，通过平衡参数η结合的混合方法，其MSE低于均值插补和非负定协方差方法，其全局最小MSE比值为1.18（而真实协方差方法为1.33），在Σ₃下表现更优。
• 使用估计协方差矩阵 $ \Sigma_{\text{est}} $ 的测试误差显著低于使用列均值插补（Σ = I）的情况，尤其在相关设计中，测试误差比值为1.18 vs. 1.33（在Σ₃下）。
• 使用 $ \Sigma_{\text{est}} $ 对测试集进行插补的交叉验证，能更准确地选择最优参数（α, λ, η），在9种不同场景中均表现出一致的性能。
• 平衡参数η具有有效性，其最优值通常位于(0,1)区间，表明两种方法的加权组合优于纯均值插补或纯协方差插补。
• 由于ℓ₂正则化带来的凸性和闭式更新，该方法即使在存在大量缺失值时仍保持计算效率。