[论文解读] Estimation of Missing Data Using Computational Intelligence and Decision Trees

George Ssali, Tshilidzi Marwala|ArXiv.org|Sep 11, 2007

Algorithms and Data Compression参考文献 22被引用 16

一句话总结

该论文提出了一种混合计算智能框架，将决策树与自联想神经网络（AANN）及PCA-NN模型相结合，用于估计缺失数据。决策树引导遗传算法优化搜索边界，从而提高插补准确性；在HIV血清流行率数据上，AANN模型的准确率从75.8%提升至86.3%，PCA-NN模型的准确率从66.1%提升至81.6%。

ABSTRACT

This paper introduces a novel paradigm to impute missing data that combines a decision tree with an auto-associative neural network (AANN) based model and a principal component analysis-neural network (PCA-NN) based model. For each model, the decision tree is used to predict search bounds for a genetic algorithm that minimize an error function derived from the respective model. The models' ability to impute missing data is tested and compared using HIV sero-prevalance data. Results indicate an average increase in accuracy of 13% with the AANN based model's average accuracy increasing from 75.8% to 86.3% while that of the PCA-NN based model increasing from 66.1% to 81.6%.

研究动机与目标

• 解决统计与医疗数据集中缺失数据的挑战，特别是在公共卫生研究中的应用。
• 在传统插补方法的基础上，进一步提高缺失数据估计的准确性。
• 开发计算智能技术的创新整合方法，特别是决策树、AANN与PCA-NN，以实现稳健的插补。
• 利用由决策树预测引导的遗传算法优化模型性能，以最小化误差函数。
• 在真实世界的HIV血清流行率数据上验证所提出的框架，评估其实际有效性。

提出的方法

• 使用决策树基于输入数据模式预测遗传算法的最优搜索边界。
• 将决策树与自联想神经网络（AANN）模型集成，通过误差最小化重构缺失值。
• 将主成分分析（PCA）与神经网络（PCA-NN）结合，以降低维度并建模复杂的数据关系。
• 使用遗传算法在AANN与PCA-NN模型中搜索最优权重配置，其搜索过程由决策树预测的边界引导。
• 基于重构损失定义误差函数，以评估并最小化两种模型的插补误差。
• 使用HIV血清流行率数据训练并测试AANN与PCA-NN模型，比较优化前后的性能表现。

实验结果

研究问题

• RQ1 决策树能否有效引导遗传算法，以提升缺失数据插补的准确性？
• RQ2 将AANN与PCA-NN模型与由决策树引导的优化方法相结合，与基线插补方法相比表现如何？
• RQ3 该混合框架在真实世界健康数据上能将插补误差降低到何种程度？
• RQ4 基于AANN的模型与基于PCA-NN的模型在处理缺失数据方面，其相对性能提升如何？
• RQ5 基于决策树推导出的搜索边界是否能加快收敛速度并提升插补过程的泛化能力？

主要发现

• 基于AANN的模型平均准确率提升了10.5个百分点，从75.8%上升至86.3%，优化后表现显著提升。
• 基于PCA-NN的模型也表现出显著改进，准确率从66.1%提升至81.6%。
• 两种模型在插补准确率上的整体平均提升达13%，证明了该混合方法的有效性。
• 由决策树引导的遗传算法显著提升了AANN与PCA-NN模型的收敛速度并降低了误差。
• 所提出的框架优于基线插补技术，尤其在处理具有复杂非线性关系的不完整数据集方面表现更优。
• 结果证实，将决策树与计算智能模型结合，可显著提升缺失数据估计的鲁棒性与准确性。