[论文解读] Missing Values and Imputation in Healthcare Data: Can Interpretable Machine Learning Help?

Zhi Chen, Sarah Tan+3 more|arXiv (Cornell University)|Apr 23, 2023

Machine Learning in Healthcare被引用 5

一句话总结

本文提出使用可解释机器学习，特别是可解释提升机（Explainable Boosting Machines, EBM），来诊断缺失机制并检测医疗数据中具有危害性的插补行为。通过分析形状函数和特征交互作用，EBM显示，如MissForest和KNN等先进插补方法会系统性地低估关键值（例如P/F比值），从而导致对患者风险的危险低估——这类问题在黑箱模型中无法察觉，但可通过可解释性方法检测到。

ABSTRACT

Missing values are a fundamental problem in data science. Many datasets have missing values that must be properly handled because the way missing values are treated can have large impact on the resulting machine learning model. In medical applications, the consequences may affect healthcare decisions. There are many methods in the literature for dealing with missing values, including state-of-the-art methods which often depend on black-box models for imputation. In this work, we show how recent advances in interpretable machine learning provide a new perspective for understanding and tackling the missing value problem. We propose methods based on high-accuracy glass-box Explainable Boosting Machines (EBMs) that can help users (1) gain new insights on missingness mechanisms and better understand the causes of missingness, and (2) detect -- or even alleviate -- potential risks introduced by imputation algorithms. Experiments on real-world medical datasets illustrate the effectiveness of the proposed methods.

研究动机与目标

• 为解决医疗数据中缺失值这一关键挑战，不当处理可能导致影响重大的临床决策。
• 探究可解释机器学习如何揭示常见插补技术中隐藏的偏差与缺陷。
• 开发方法以检测插补是否引入系统性错误，特别是在高风险医疗应用中。
• 为临床医生和数据科学家提供工具，理解值缺失的*原因*以及插补如何影响模型行为。
• 证明基于EBM的可解释性能够揭示标准模型所忽视的插补数据异常。

提出的方法

• 使用可解释提升机（EBM）——一种透明且高精度的模型——分析特征分布并检测缺失模式。
• 应用EBM形状函数，可视化插补值如何影响不同特征范围内的模型预测。
• 通过EBM支持的统计检验，比较观测值与插补值分布，以检验缺失是否完全随机（MCAR）。
• 构建模型以从其他特征预测缺失性，利用EBM的可解释性揭示变量与缺失之间的关系。
• 利用EBM形状函数中的异常现象（如尖锐或反直觉的模式）来标记潜在有害的插补行为。
• 在真实世界医疗数据集上对比多种插补方法（均值插补、MissForest、KNN），并通过EBM诊断评估其影响。

Figure 1 : EBM shape function and density plot for P/F ratio when predicting ICU mortality.

实验结果

研究问题

• RQ1 可解释机器学习能否帮助识别医疗数据集中缺失的潜在机制？
• RQ2 如MissForest和KNN等先进插补方法是否引入系统性偏差，从而损害临床模型性能？
• RQ3 EBM形状函数能否检测到黑箱模型无法察觉的有害插补模式？
• RQ4 可解释性工具如何帮助临床医生和数据科学家在模型部署前评估插补风险？
• RQ5 基于EBM的诊断能否揭示插补导致患者风险被低估的情况，特别是对P/F比值等关键变量？

主要发现

• MissForest和KNN插补系统性地将P/F比值插补为低于预期的值，表明其会低估患者风险——尤其对原本P/F比值已较低的患者影响更严重。
• EBM形状函数揭示了在使用高级插补方法时，预测结果呈现尖锐、不光滑的模式，表明模型行为不稳定且可能具有危害性。
• 尽管均值插补更为简单，但其引起的整体失真程度小于MissForest和KNN，后者影响了P/F比值在0至800范围内的更广泛患者群体。
• 基于EBM的诊断成功识别出P/F比值缺失很可能是由于临床默认其为正常值（即接近1000），这一模式在标准分析中无法被察觉。
• 该方法识别出插补可能在模型预测中引入局部波动，这类波动在临床环境中尤为危险，因为微小误差可能带来重大后果。
• 模型编辑工具被证明能有效纠正有害插补影响，且对整体准确率影响极小，凸显了可解释模型的实际应用价值。

Figure 2 : Example of using EBM shape function to test for MCAR. Missing coded as -5. $p$ -value for testing MCAR is less than 0.05.