[论文解读] Comparison of Data Imputation Techniques and their Impact

Darren Blend, Tshilidzi Marwala|ArXiv.org|Dec 8, 2008

Data Mining Algorithms and Applications参考文献 14被引用 8

一句话总结

本文评估了自编码神经网络（NN）、神经模糊（NF）系统以及NN-NF混合方法在八类产前调查数据及主成分分析（PCA）条件下的缺失数据填补表现。NN方法在平均精度上比NF高5.8%，而混合方法准确率高出15.9%，但计算效率低50%；然而，填补后的数据显著改变了PCA中的关系结构，平均使标准差降低36.7%，可能导致结果误读。

ABSTRACT

Missing and incomplete information in surveys or databases can be imputed using different statistical and soft-computing techniques. This paper comprehensively compares auto-associative neural networks (NN), neuro-fuzzy (NF) systems and the hybrid combinations the above methods with hot-deck imputation. The tests are conducted on an eight category antenatal survey and also under principal component analysis (PCA) conditions. The neural network outperforms the neuro-fuzzy system for all tests by an average of 5.8%, while the hybrid method is on average 15.9% more accurate yet 50% less computationally efficient than the NN or NF systems acting alone. The global impact assessment of the imputed data is performed by several statistical tests. It is found that although the imputed accuracy is high, the global effect of the imputed data causes the PCA inter-relationships between the dataset to become altered. The standard deviation of the imputed dataset is on average 36.7% lower than the actual dataset which may cause an incorrect interpretation of the results.

研究动机与目标

• 评估自编码神经网络、神经模糊系统及混合填补方法在具有缺失值的真实调查数据上的表现。
• 评估填补数据对主成分分析（PCA）关系及统计解释的全局影响。
• 确定不同填补技术在准确度与计算效率之间的权衡。
• 探究高填补准确度是否能保证下游统计分析的可靠性，特别是在降维分析场景中。

提出的方法

• 本研究应用自编码神经网络，利用已知数据模式学习并重建缺失值。
• 采用神经模糊系统，通过模糊推理系统结合神经网络学习原理实现填补。
• 混合方法将自编码神经网络与神经模糊系统结合热插补法，以提升准确度。
• 在原始数据与PCA变换后数据条件下，使用八类产前调查数据集评估各方法性能。
• 通过统计检验比较填补准确度，并评估填补数据对PCA推导出的变量间关系的影响。
• 将填补后数据集的标准差与原始数据集进行对比，量化数据变异性中的失真程度。

实验结果

研究问题

• RQ1 自编码神经网络、神经模糊系统及其混合组合在真实调查数据集上的填补准确度表现如何？
• RQ2 各独立方法与混合方法在计算效率上的权衡如何？
• RQ3 数据填补在多大程度上改变了主成分分析揭示的变量间关系？
• RQ4 填补后数据集的标准差与原始数据集相比如何？对统计解释有何影响？
• RQ5 高填补准确度是否能保证可靠的下游分析，特别是在如PCA等降维技术中？

主要发现

• 自编码神经网络在所有测试条件下，平均比神经模糊系统高出5.8%的填补准确度。
• 混合NN-NF方法的准确率比任一独立方法高出15.9%，但计算效率低50%。
• 尽管填补准确度高，填补数据的全局影响仍改变了主成分分析中变量间的相互关系。
• 填补后数据集的标准差平均比原始数据集低36.7%，表明数据变异性存在显著失真。
• 标准差的降低可能导致后续统计分析中对数据模式与关系的错误解读。
• 统计检验证实，即使填补数据准确，也可能歪曲原始数据集的真实结构，尤其在基于PCA的分析中。