[论文解读] Imputation for prediction: beware of diminishing returns

Marine Le Morvan, Gaël Varoquaux|arXiv (Cornell University)|Jul 29, 2024

Forecasting Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

本研究调查了在MCAR条件下，改进的插补技术是否能显著提升20个数据集上的预测性能。研究发现，尽管插补准确性很重要，但预测性能的提升却微乎其微——尤其是在使用灵活模型或加入缺失值指示符时——这挑战了‘更优插补总是提升预测’的普遍假设。

ABSTRACT

Missing values are prevalent across various fields, posing challenges for training and deploying predictive models. In this context, imputation is a common practice, driven by the hope that accurate imputations will enhance predictions. However, recent theoretical and empirical studies indicate that simple constant imputation can be consistent and competitive. This empirical study aims at clarifying if and when investing in advanced imputation methods yields significantly better predictions. Relating imputation and predictive accuracies across combinations of imputation and predictive models on 19 datasets, we show that imputation accuracy matters less i) when using expressive models, ii) when incorporating missingness indicators as complementary inputs, iii) matters much more for generated linear outcomes than for real-data outcomes. Interestingly, we also show that the use of the missingness indicator is beneficial to the prediction performance, even in MCAR scenarios. Overall, on real-data with powerful models, improving imputation only has a minor effect on prediction performance. Thus, investing in better imputations for improved predictions often offers limited benefits.

研究动机与目标

• 通过实证方法评估提升插补准确性是否能带来下游预测性能的可测量改进。
• 在缺失完全随机（MCAR）条件下评估插补质量的影响，此时插补方法在理论上是有效的。
• 研究模型灵活性、缺失值指示符以及结果线性程度如何调节插补准确性与预测性能之间的关系。
• 澄清在真实世界预测建模场景中，高级插补方法是否真正带来实质性益处。
• 为从业者提供实用建议，明确在何时应投资于复杂插补，而非过度关注建模选择。

提出的方法

• 在20个真实世界的数值数据集上，于MCAR缺失条件下评估不同缺失率（20%、50%）下的表现。
• 比较多种插补方法——包括均值插补、missforest、iterativeBR，以及VAE和基于GAN的先进插补方法——的准确性。
• 预测模型包括线性模型、XGBoost和神经网络，是否加入缺失值指示符（标记缺失值的二值特征）均进行测试。
• 系统性地组合所有模型与插补方法对，通过交叉验证进行超参数调优。
• 预测性能使用RMSE（回归）和AUC（分类）衡量，插补准确性则通过RMSE或MAE评估。
• 通过控制模型选择和缺失值指示符的使用，隔离插补质量的贡献，比较不同插补方法带来的预测性能增益。

实验结果

研究问题

• RQ1 在多样化数据集和模型上，提升插补准确性是否能带来显著的预测性能增益？
• RQ2 在MCAR场景中，使用缺失值指示符如何影响更优插补的收益？
• RQ3 插补准确性与预测性能之间的关系是否在结果线性时更强，而在真实世界数据中非线性关系下减弱？
• RQ4 模型表达能力（如XGBoost与线性模型）如何调节插补质量对预测性能的影响？
• RQ5 插补准确性的提升是否始终转化为预测性能的增益，还是相关性较弱？

主要发现

• 当使用XGBoost或神经网络等强大灵活模型时，提升插补准确性对预测性能的增益微乎其微。
• 即使在缺失信息无意义的MCAR设置中，加入缺失值指示符也能显著提升预测性能，从而更有效地利用高级插补方法。
• 对于线性生成的结果，更好的插补确实带来更好的预测，但在具有非线性关系的真实世界数据中，这种关系不复存在。
• 即使在50%缺失率下，基于missforest的预测器仍优于基于iterativeBR的预测器，尽管两者插补准确性相近，表明插补质量本身并非预测增益的可靠指标。
• 当模型能原生处理缺失值或使用缺失值指示符时，高级插补方法的收益显著降低，表明建模选择通常比插补复杂度更重要。
• 在理论上插补有效的MCAR设置中，更优插补的增益仍然很小，暗示在现实世界中更复杂的MNAR场景下，增益可能更小。