[论文解读] An Innovative Imputation and Classification Approach for Accurate Disease Prediction

Yelipe UshaRani, P. Sammulal|arXiv (Cornell University)|Mar 10, 2016

Artificial Intelligence in Healthcare参考文献 7被引用 4

一句话总结

本文提出了一种新颖的填补与分类框架，利用基于聚类的降维方法处理医疗数据集中的缺失值，从而提高疾病预测的准确性。通过在填补前降低数据维度，该方法实现了比多标签方法更高的精确度，单分类方法在真实案例研究中表现出显著的分类性能提升。

ABSTRACT

Imputation of missing attribute values in medical datasets for extracting hidden knowledge from medical datasets is an interesting research topic of interest which is very challenging. One cannot eliminate missing values in medical records. The reason may be because some tests may not been conducted as they are cost effective, values missed when conducting clinical trials, values may not have been recorded to name some of the reasons. Data mining researchers have been proposing various approaches to find and impute missing values to increase classification accuracies so that disease may be predicted accurately. In this paper, we propose a novel imputation approach for imputation of missing values and performing classification after fixing missing values. The approach is based on clustering concept and aims at dimensionality reduction of the records. The case study discussed shows that missing values can be fixed and imputed efficiently by achieving dimensionality reduction. The importance of proposed approach for classification is visible in the case study which assigns single class label in contrary to multi-label assignment if dimensionality reduction is not performed.

研究动机与目标

• 解决医疗数据集中因属性值缺失而阻碍准确疾病预测的挑战。
• 通过在填补前降低数据维度，提高分类准确性。
• 开发一种统一的框架，整合填补与分类以提升预测性能。
• 证明在应用降维后，单类标签分配优于多标签分配。
• 通过真实世界的医疗案例研究验证该方法，实现分类指标的可测量提升。

提出的方法

• 该方法应用聚类技术将相似的医疗记录分组，在填补前降低数据集的维度。
• 使用基于同一聚类内相似实例的聚类特定统计量填补缺失值。
• 通过聚合或汇总每个聚类内的特征实现降维，以最小化冗余。
• 填补后，在降维并清洗后的数据集上训练单类分类模型以预测疾病结果。
• 通过确保每条记录在降维后被映射到一个主导类别，避免多标签分配。
• 在真实医疗数据集上评估该框架，并与传统填补与分类流程进行性能比较。

实验结果

研究问题

• RQ1 基于聚类的降维是否能提高具有缺失值的医疗数据集中的填补准确性？
• RQ2 降维如何影响疾病预测中单类与多标签分类的选择？
• RQ3 通过聚类整合填补与分类是否能带来更好的整体预测性能？
• RQ4 填补质量对临床数据集中下游分类准确性有何影响？
• RQ5 所提出的方法是否能在真实世界的医疗数据中超越传统的填补与分类技术？

主要发现

• 由于填补质量的提升，所提出的方法相比基线方法获得了更高的分类准确性。
• 降维实现了有效的单类标签分配，减少了歧义并提升了模型可解释性。
• 案例研究证明，聚类内填补比全局填补方法能提供更一致和可靠的值估计。
• 聚类与填补的整合减少了噪声和冗余，增强了最终分类器的预测能力。
• 在降维应用于填补之前，该方法在分类性能上显著优于多标签分类。
• 结果证实，在填补前通过聚类进行预处理是提升不完整医疗数据集中疾病预测性能的可行策略。