[论文解读] Evaluating the Impact of Missing Data Imputation through the use of the Random Forest Algorithm

Adam Pantanowitz, Tshilidzi Marwala|arXiv (Cornell University)|Dec 12, 2008

Bayesian Methods and Mixture Models参考文献 24被引用 12

一句话总结

本研究利用2001年产科诊所调查中的HIV血清阳性率数据，评估了缺失数据填补方法。随机森林在准确性和计算时间方面优于其他方法，与自编码神经网络相比，填补准确率最高提升32%；而混合模型则受限于其神经网络组件。

ABSTRACT

This paper presents an impact assessment for the imputation of missing data. The data set used is HIV Seroprevalence data from an antenatal clinic study survey performed in 2001. Data imputation is performed through five methods: Random Forests, Autoassociative Neural Networks with Genetic Algorithms, Autoassociative Neuro-Fuzzy configurations, and two Random Forest and Neural Network based hybrids. Results indicate that Random Forests are superior in imputing missing data in terms both of accuracy and of computation time, with accuracy increases of up to 32% on average for certain variables when compared with autoassociative networks. While the hybrid systems have significant promise, they are hindered by their Neural Network components. The imputed data is used to test for impact in three ways: through statistical analysis, HIV status classification and through probability prediction with Logistic Regression. Results indicate that these methods are fairly immune to imputed data, and that the impact is not highly significant, with linear correlations of 96% between HIV probability prediction and a set of two imputed variables using the logistic regression analysis.

研究动机与目标

• 评估缺失数据填补对公共卫生数据集中下游统计分析和预测建模的影响。
• 比较多种填补技术（包括随机森林、自编码神经网络、神经模糊系统和混合模型）的性能。
• 评估填补数据是否显著改变逻辑回归、分类和统计推断的结果。
• 确定不同填补方法在计算效率与准确率之间的权衡。
• 识别在真实世界健康数据中存在缺失值时最稳健且有效的填补策略。

提出的方法

• 应用五种填补方法：随机森林、结合遗传算法的自编码神经网络、自编码神经模糊配置，以及两种结合随机森林与神经网络的混合模型。
• 使用2001年产科诊所调查中的HIV血清阳性率数据作为含缺失值的真实世界数据集。
• 通过多个变量的准确率指标和计算时间评估填补性能。
• 通过三种下游分析测试填补数据的影响：统计分析、HIV状态分类和概率预测的逻辑回归。
• 测量预测HIV概率与填补变量之间的相关性，以评估模型稳定性及对填补方法的敏感性。
• 使用皮尔逊相关系数（R²）量化填补数据与最终预测之间的关系，96%的相关性表明对填补方法选择的敏感性较低。

实验结果

研究问题

• RQ1 填补方法的选择如何影响缺失数据恢复的准确性和计算效率？
• RQ2 填补数据在多大程度上影响统计分析、分类和逻辑回归模型的结果？
• RQ3 结合随机森林与神经网络的混合模型在填补性能上与独立方法相比如何？
• RQ4 逻辑回归预测对填补数据变化的敏感性如何，特别是在公共卫生数据集中？
• RQ5 哪种填补方法在多种评估标准下提供最稳健可靠的结果？

主要发现

• 随机森林在填补准确率方面表现最佳，某些变量上比自编码神经网络方法最高提升32%。
• 随机森林在计算效率方面也表现出色，使其在大规模或时间敏感的应用中更具实用性。
• 包含神经网络的混合模型虽具潜力，但其性能和不稳定性显著受限于神经网络组件。
• 下游分析（统计检验、分类和逻辑回归）对填补方法选择的敏感性较低，预测HIV概率与填补变量之间的线性相关性达96%。
• 逻辑回归预测对填补变化的鲁棒性表明，即使填补不完美，模型结果依然稳定。
• 总体而言，随机森林在本HIV血清阳性率数据集中是最有效且可靠的缺失数据填补方法。