[论文解读] Calibrating Healthcare AI: Towards Reliable and Interpretable Deep Predictive Models

Jayaraman J. Thiagarajan, Prasanna Sattigeri+2 more|arXiv (Cornell University)|Apr 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用 15

一句话总结

本文提出了一种校准驱动的学习框架，通过利用解耦潜在表征和反事实推理，提升了医疗AI的可靠性与可解释性。通过联合校准目标优化预测区间，该方法改善了模型置信度校准，并通过生成的反事实证据实现严格的模型内省，揭示了皮肤镜病变分类中的虚假相关性、类别关系及不确定性区域。

ABSTRACT

The wide-spread adoption of representation learning technologies in clinical decision making strongly emphasizes the need for characterizing model reliability and enabling rigorous introspection of model behavior. While the former need is often addressed by incorporating uncertainty quantification strategies, the latter challenge is addressed using a broad class of interpretability techniques. In this paper, we argue that these two objectives are not necessarily disparate and propose to utilize prediction calibration to meet both objectives. More specifically, our approach is comprised of a calibration-driven learning method, which is also used to design an interpretability technique based on counterfactual reasoning. Furthermore, we introduce extit{reliability plots}, a holistic evaluation mechanism for model reliability. Using a lesion classification problem with dermoscopy images, we demonstrate the effectiveness of our approach and infer interesting insights about the model behavior.

研究动机与目标

• 为解决临床决策中对可靠且可解释的深度学习模型的迫切需求，特别是当模型置信度校准不佳时。
• 通过在一种校准驱动框架下统一建模可靠性（不确定性量化）与可解释性（模型内省），弥合两者之间的差距。
• 开发一种整体性评估机制——可靠性图，整合专家反馈以评估模型自主性与泛化能力。
• 提出一种基于解耦潜在空间中反事实证据的新型可解释性技术，实现对模型行为的严格局部分析。

提出的方法

• 该方法采用DIP-VAE学习解耦的潜在表征，以分离皮肤镜图像中有意义的变异因素。
• 构建一种校准驱动的学习目标，以优化预测区间，平衡输入的语义相似性、区间宽度与预测置信度（通过熵最小化实现）。
• 核心优化（公式3）使用重构损失、区间宽度最大化与熵最小化的加权组合，以在潜在空间中生成反事实证据。
• 通过优化潜在码生成语义相似但预测置信度高的图像，生成反事实证据，从而在受控扰动下分析模型行为。
• 引入可靠性图为整体性评估工具，整合专家参与的反馈，以评估模型自主性与泛化能力之间的权衡。
• 通过操纵解耦的潜在维度实现反事实推理，探索细微图像变化如何影响预测置信度与类别结果。

实验结果

研究问题

• RQ1 预测校准是否不仅能提升模型可靠性，还能通过反事实推理实现严格的局部可解释性？
• RQ2 解耦潜在表征如何增强医疗应用中深度学习模型的可解释性与鲁棒性？
• RQ3 利用校准后的反事实证据，可以揭示关于模型行为的哪些洞见（如虚假相关性或类别依赖性）？
• RQ4 所提出的可靠性图机制如何通过在推理过程中引入专家反馈，改善模型可靠性的评估？
• RQ5 校准后的预测区间在多大程度上能揭示模型在病变分类中的优势、劣势及不确定性区域？

主要发现

• 所提方法生成的反事实证据在语义差异上极低（SSIM值高），但预测熵显著降低，表明模型学会了通过强调类别特异性模式来实现高置信度预测。
• 模型展现出复杂的类别关系：在解耦潜在空间中的微小扰动可完全改变预测的疾病结果，例如通过细微调整即可消除黑色素细胞痣的预测。
• 即使高性能模型也依赖于虚假相关性，例如对无关角落区域的响应而非病变特征，反事实分析显示，仅改变这些区域即可改变预测结果而病变本身未变。
• 通过改变熵项符号生成不同置信度区间的证据，该方法揭示了可解释的临床规则（如不对称性、边界、颜色与直径）与置信度变化之间的相关性，从而实现对模型的全面理解。
• 可靠性图表明，与标准深度网络及集成方法相比，所提模型在引入专家反馈时展现出更优的性能，具有更好的校准性与泛化能力。
• 分析揭示了不同的不确定性区域，表明模型置信度常由与真实病变无关的统计模式驱动，凸显了在临床部署中的潜在风险。