[论文解读] Bootstrapping and Multiple Imputation Ensemble Approaches for Missing Data

Shehroz S. Khan, Amir Ahmad+1 more|arXiv (Cornell University)|Feb 1, 2018

Bayesian Methods and Mixture Models参考文献 32被引用 9

一句话总结

本文提出了一种结合自助采样与多重插补的集成方法，以在缺失数据条件下提升分类性能。通过将期望最大化插补与不完整数据上的袋装法相结合，该方法在高缺失率（最高达30%）下实现了稳健的准确率与多样性，相较于单次插补及其他集成策略，在八个UCI数据集上的广泛实验中表现更优。

ABSTRACT

Presence of missing values in a dataset can adversely affect the performance of a classifier. Single and Multiple Imputation are normally performed to fill in the missing values. In this paper, we present several variants of combining single and multiple imputation with bootstrapping to create ensembles that can model uncertainty and diversity in the data, and that are robust to high missingness in the data. We present three ensemble strategies: bootstrapping on incomplete data followed by (i) single imputation and (ii) multiple imputation, and (iii) multiple imputation ensemble without bootstrapping. We perform an extensive evaluation of the performance of the these ensemble strategies on 8 datasets by varying the missingness ratio. Our results show that bootstrapping followed by multiple imputation using expectation maximization is the most robust method even at high missingness ratio (up to 30%). For small missingness ratio (up to 10%) most of the ensemble methods perform quivalently but better than single imputation. Kappa-error plots suggest that accurate classifiers with reasonable diversity is the reason for this behaviour. A consistent observation in all the datasets suggests that for small missingness (up to 10%), bootstrapping on incomplete data without any imputation produces equivalent results to other ensemble methods.

研究动机与目标

• 解决机器学习中因缺失数据导致分类器性能下降的挑战。
• 评估结合自助采样与多重插补的集成策略，以建模不确定性与数据多样性。
• 确定在真实世界数据集中高缺失率（最高30%）下最稳健的方法。
• 分析不同插补与集成技术在准确率、多样性与计算成本之间的权衡。
• 为数据科学家提供基于证据的指导，根据缺失率水平选择最优的插补与集成策略。

提出的方法

• 提出三种集成策略：(i) 在不完整数据上进行自助采样，随后进行单次插补；(ii) 在不完整数据上进行自助采样，随后进行多重插补；(iii) 不使用自助采样，仅进行多重插补。
• 在集成框架内，使用期望最大化（EM）、均值插补与随机插补作为基础插补技术。
• 集成方法使用25个基分类器，基于自助样本进行训练，预测结果通过多数投票进行聚合。
• 采用卡帕-误差图可视化分类器多样性（卡帕）与平均误差（E_ij）之间的权衡，最优组合位于图的左下象限。
• 在八个UCI数据集上评估性能，缺失率范围为5%至30%，采用10折交叉验证。
• 本研究聚焦于MCAR（完全随机缺失）缺失机制，确保在该假设下结果有效。

实验结果

研究问题

• RQ1 在缺失率逐渐增加的情况下，哪种集成策略——自助采样结合单次插补、自助采样结合多重插补，或不使用自助采样的多重插补——表现最佳？
• RQ2 在不同缺失率（5%至30%）下，集成方法与单次插补的性能相比如何？
• RQ3 卡帕-误差图在多大程度上揭示了在缺失数据条件下，集成分类器的多样性与准确率之间的关系？
• RQ4 在低缺失率（≤10%）下，对不完整数据进行自助采样但不进行任何插补，其性能是否与基于插补的集成方法相当？
• RQ5 插补方法的选择（EM、均值、随机）如何影响集成方法的鲁棒性与计算成本？

主要发现

• 结合自助采样与多重插补的集成方法（即BagEM）最为稳健，在30%缺失率下仍能保持高性能。
• 在低缺失率（最高10%）下，对不完整数据进行自助采样但不进行插补（BagNoImp）的性能与所有基于插补的集成方法相当，表明在此类情况下插补需求极低。
• 卡帕-误差图证实，BagEM生成的分类器兼具高准确率与合理多样性，解释了其在高缺失率下的卓越鲁棒性。
• 在低缺失率（≤10%）下，经自助采样后使用均值插补的多重插补方法（BagMIGRandI）是一种比基于EM的插补更快且同样稳健的替代方案。
• 单次插补在性能上始终逊于集成方法，尤其当缺失率超过10%时差距更为明显。
• 即使在30%缺失率下，经自助采样后使用EM插补的多重插补方法性能仅轻微下降，表明其对数据不完整性具有极强的鲁棒性。