[论文解读] A Novel Approach for Imputation of Missing Attribute Values for Efficient Mining of Medical Datasets - Class Based Cluster Approach

Yelipe UshaRani, P. Sammulal|arXiv (Cornell University)|May 3, 2016

Artificial Intelligence in Healthcare参考文献 15被引用 7

一句话总结

本文提出了一种新颖的基于类别的聚类方法，用于填补医疗数据集中的缺失属性值，旨在提升数据质量并支持高效的数据挖掘。通过根据类别标签对相似医疗记录进行分组，并利用聚类中心来估计缺失值，该方法降低了维度并提高了分类准确率，如在真实医疗数据上的案例研究所示。

ABSTRACT

Missing attribute values are quite common in the datasets available in the literature. Missing values are also possible because all attributes values may not be recorded and hence unavailable due to several practical reasons. For all these one must fix missing attribute vales if the analysis has to be done. Imputation is the first step in analyzing medical datasets. Hence this has achieved significant contribution from several medical domain researchers. Several data mining researchers have proposed various methods and approaches to impute missing values. However very few of them concentrate on dimensionality reduction. In this paper, we discuss a novel imputation framework for missing values imputation. Our approach of filling missing values is rooted on class based clustering approach and essentially aims at medical records dimensionality reduction. We use these dimensionality records for carrying prediction and classification analysis. A case study is discussed which shows how imputation is performed using proposed method.

研究动机与目标

• 解决医疗数据集中缺失属性值的问题，这些问题会阻碍有效的数据挖掘与分析。
• 通过一种新颖的填补框架，在保持临床相关性的同时降低数据维度。
• 通过利用基于类别的聚类进行填补，提高分类与预测任务的准确性。
• 为缺失值比例高的真实世界医疗数据提供一种稳健且可扩展的解决方案。

提出的方法

• 该方法采用基于类别的聚类，将具有相似类别标签（例如疾病结局）的医疗记录分组到聚类中。
• 在每个聚类内，基于可用属性，使用聚类的中心值来填补缺失的属性值。
• 通过聚焦于相关且聚类特定的特征子集，该方法实现了降维，从而最小化噪声与冗余。
• 填补过程采用迭代方式进行，利用聚类特有的模式来优化估计，并最小化误差传播。
• 使用真实医疗数据集对框架进行了验证，并在填补后评估了分类性能。
• 该方法设计为计算高效，适用于大规模医疗数据应用。

实验结果

研究问题

• RQ1 如何在保持临床数据语义的前提下，有效填补医疗数据集中的缺失属性值？
• RQ2 与传统方法相比，基于类别的聚类在多大程度上提升了填补的准确性？
• RQ3 所提出的方法是否能在不牺牲预测性能的前提下，降低医疗分类中的数据维度？
• RQ4 该填补框架对真实医疗数据集中下游分类与预测准确率的影响如何？

主要发现

• 所提出的基于类别的聚类填补方法显著提升了医疗数据集的数据质量，有效降低了缺失值的影响。
• 使用聚类中心进行填补相比基线方法（如均值填补或KNN）可获得更高的分类准确率。
• 该方法通过聚焦于相关且特定于类别的特征模式，有效降低了数据维度。
• 在真实医疗数据集上的案例研究显示，填补后分类任务的性能得到提升。
• 该方法在处理高比例缺失值的同时，保持了临床可解释性，表现出稳健性。
• 该框架具有可扩展性，适合集成到医疗数据挖掘流程中。