[论文解读] High-dimensional Imputation for the Social Sciences: a Comparison of State-of-the-art Methods

Edoardo Costantini, Kyle M. Lang+2 more|arXiv (Cornell University)|Aug 29, 2022

Statistical Methods and Bayesian Inference被引用 5

一句话总结

本研究评估了七种高维多重插补（MI）方法，以确定社会科学数据中缺失值问题的最优预测变量选择与降维策略。通过模拟和真实调查数据，研究发现基于Lasso的变量选择、前向选择以及基于主成分分析（PCA）的降维方法能产生最准确且高效的参数估计，其中MI-PCA在性能与计算速度之间实现了最佳平衡。

ABSTRACT

Including a large number of predictors in the imputation model underlying a multiple imputation (MI) procedure is one of the most challenging tasks imputers face. A variety of high-dimensional MI techniques can help, but there has been limited research on their relative performance. In this study, we investigated a wide range of extant high-dimensional MI techniques that can handle a large number of predictors in the imputation models and general missing data patterns. We assessed the relative performance of seven high-dimensional MI methods with a Monte Carlo simulation study and a resampling study based on real survey data. The performance of the methods was defined by the degree to which they facilitate unbiased and confidencevalid estimates of the parameters of complete data analysis models. We found that using lasso penalty or forward selection to select the predictors used in the MI model and using principal component analysis to reduce the dimensionality of auxiliary data produce the best results.

研究动机与目标

• 评估高维多重插补（MI）方法在社会科学研究中的相对表现。
• 识别在不同缺失数据模式下，哪些预测变量选择与降维技术能产生最准确且高效的参数估计。
• 解决现有文献中对现代高维MI技术在社会科学背景下缺乏实证比较的问题。
• 为研究人员在处理大量预测变量时选择有效插补模型提供实际指导。
• 评估方法选择（如正则化与PCA）对MI估计有效性与精确度的影响。

提出的方法

• 开展蒙特卡洛模拟研究，控制缺失数据机制并调整预测变量维度。
• 利用欧洲价值观调查（EVS）的真实数据进行重采样研究，以在真实的社会科学背景下验证研究发现。
• 评估七种高维MI方法：基于Lasso的MI、前向选择MI、岭回归MI、CART、随机森林MI、主成分回归MI以及MI-PCA。
• 使用Rubin规则对多个插补数据集的估计结果进行合并，并评估参数估计的偏倚与覆盖区间。
• 在MI-PCA中通过主成分分析对辅助变量进行降维，保留解释总方差50%的主成分。
• 通过相对偏倚、覆盖区间以及参数估计的均方根误差等指标，比较各方法的性能。

实验结果

研究问题

• RQ1 在存在缺失值的社会科学数据中，哪种高维插补方法能产生对回归参数最无偏的估计？
• RQ2 与基于树的方法（如CART、随机森林）相比，Lasso和前向选择等正则化技术在估计准确度与效率方面表现如何？
• RQ3 在高维设置下，通过主成分分析（PCA）进行降维在多大程度上能提升插补性能？
• RQ4 在准确度与计算速度两方面，MI-PCA相较于其他方法表现如何？
• RQ5 在插补模型中包含或排除辅助变量，对参数估计偏倚与覆盖区间有何影响？

主要发现

• 在插补模型中采用基于Lasso的预测变量选择与前向选择，可在所有模拟条件下产生最准确且偏倚最小的参数估计。
• 在MI-PCA中采用基于主成分分析（PCA）的降维方法，能产生最高效且精确的估计，尤其在存在大量辅助变量的高维设置下表现更优。
• MI-PCA在计算速度方面显著优于其他方法，使其成为大规模社会科学数据集的最实用选择。
• 依赖无监督降维方法（如经典PCA）的方法仅在辅助变量是缺失值的强预测变量时表现良好；当预测变量较弱时，性能明显下降。
• 在低维设置下（n ≫ p），贝叶斯岭回归表现强劲，但随着维度增加，其效果减弱。
• 在插补模型中包含分析模型中的变量及其变换，能显著降低偏倚并改善覆盖区间，支持模型相容性原则。