[论文解读] Interpretable Models Capable of Handling Systematic Missingness in Imbalanced Classes and Heterogeneous Datasets

Sreejita Ghosh, Elizabeth S. Baranowski+4 more|arXiv (Cornell University)|Jun 4, 2022

Machine Learning in Healthcare被引用 6

一句话总结

本文提出了一类可解释的原型基础（PB）模型，能够处理医学数据集中系统性缺失、类别不平衡和异质性数据的问题。通过利用自适应相异度度量和流形参数的测地线平均策略，在保持内在可解释性的同时实现类似集成模型的性能，该模型在准确率上与最先进方法（包括随机森林）相当或更优，同时具备更强的透明度和知识提取能力。

ABSTRACT

Application of interpretable machine learning techniques on medical datasets facilitate early and fast diagnoses, along with getting deeper insight into the data. Furthermore, the transparency of these models increase trust among application domain experts. Medical datasets face common issues such as heterogeneous measurements, imbalanced classes with limited sample size, and missing data, which hinder the straightforward application of machine learning techniques. In this paper we present a family of prototype-based (PB) interpretable models which are capable of handling these issues. The models introduced in this contribution show comparable or superior performance to alternative techniques applicable in such situations. However, unlike ensemble based models, which have to compromise on easy interpretation, the PB models here do not. Moreover we propose a strategy of harnessing the power of ensembles while maintaining the intrinsic interpretability of the PB models, by averaging the model parameter manifolds. All the models were evaluated on a synthetic (publicly available dataset) in addition to detailed analyses of two real-world medical datasets (one publicly available). Results indicated that the models and strategies we introduced addressed the challenges of real-world medical data, while remaining computationally inexpensive and transparent, as well as similar or superior in performance compared to their alternatives.

研究动机与目标

• 解决将可解释机器学习应用于具有系统性缺失、类别不平衡和异质性测量特征的真实世界医学数据集的挑战。
• 开发内在可解释的模型，在保持高性能的同时维持透明度，避免集成方法中常见的准确率与可解释性之间的权衡。
• 提出一种新颖策略，通过原型模型参数流形的测地线平均，实现集成模型的性能优势，同时不损失可解释性。
• 在合成数据集和两个真实世界医学数据集（包括肾上腺皮质激素合成先天缺陷）上验证该框架的有效性。
• 实现对特征贡献和决策边界的详细、数据驱动的洞察，以支持临床解释和知识发现。

提出的方法

• 提出一种基于原型的（PB）学习框架，采用学习向量量化（LVQ）方法，并结合自适应相异度度量，包括基于余弦的度量和参数化欧几里得距离，以处理异质性和缺失数据。
• 引入 $LVQ^{A}$ 变体，支持概率输出，并可使用清晰标签和不确定标签进行训练，以反映分类不确定性。
• 通过对多个LVQ模型的参数流形进行测地线平均，构建一个单一的代表性模型，实现类似集成模型的性能，同时保持可解释性。
• 采用聚类策略管理模型训练中的多个局部最优解，提升模型的鲁棒性和稳定性。
• 使用莫洛伊德投影（Mollweide projection）可视化高维数据和决策边界，实现对特征影响和类别分离的直接解释。
• 与基于多重插补的方法以及最先进的模型无关方法（如LIME和SHAP）进行性能比较，证明在系统性缺失存在时具有更优的鲁棒性。

实验结果

研究问题

• RQ1 原型基础模型是否能够在保持高可解释性和高性能的同时，有效处理医学数据集中的系统性缺失和异质性测量？
• RQ2 在存在缺失和异质性数据的情况下，自适应相异度度量（如基于角度的度量）与标准欧几里得距离相比，性能表现如何？
• RQ3 LVQ模型的测地线平均在多大程度上能够实现与传统集成模型（如随机森林）相当的性能，同时不损失可解释性？
• RQ4 所提出的框架是否能够从真实世界医学数据（如肾上腺皮质激素合成先天缺陷）中提取具有临床意义的洞察？
• RQ5 在样本量小、类别不平衡的场景下，引入不确定标签和概率输出在提升模型透明度和可靠性方面有何作用？

主要发现

• 采用自适应相异度度量（特别是基于余弦的度量）的 $LVQ^{A}$ 模型，在系统性缺失和异质性测量存在的情况下，优于标准欧几里得LVQ模型。
• 无需插补的基于角度的LVQ模型在性能上可与多重插补技术相媲美或更优，而后者可能对基于距离的分类产生不利影响。
• 测地线平均的LVQ模型在性能上与100棵树的随机森林相当或更优，同时保持了完整的可解释性，并支持直接的知识提取。
• 在肾上腺皮质激素合成先天缺陷数据集中，该框架实现了对32种尿液生物标志物之间496对比率的全面分析，揭示了疾病特异性的代谢模式。
• 模型能够为每个样本、每种类别以及整个数据集提供直接、可视化的特征贡献洞察，有助于临床解释。
• 该框架在公开可用的真实世界数据集上表现出具有竞争力的性能，具备可复现性，并提供了清晰的知识提取路径。