[论文解读] Instance-level quantitative saliency in multiple sclerosis lesion segmentation

Federico Spagnolo, Nataliia Molchanova+6 more|arXiv (Cornell University)|Jun 13, 2024

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本论文提出两种实例级可解释人工智能（XAI）方法——SmoothGrad 和 Grad-CAM++——并将其适配于基于 3D U-Net 的多发性硬化症（MS）白质病灶在 MRI 中的语义分割。研究发现，病灶检测严重依赖于 FLAIR 信号强度模式，并需要约 7mm 的病灶周围组织上下文，且显著性图能定量区分真正例、假正例和假负例。

ABSTRACT

Explainable artificial intelligence (XAI) methods have been proposed to interpret model decisions in classification and, more recently, in semantic segmentation. However, instance-level XAI for semantic segmentation, namely explanations focused on a single object among multiple instances of the same class, remains largely unexplored. Such explanations are particularly important in multi-lesional diseases to understand what drives the detection and contouring of a specific lesion. We propose instance-level explanation maps for semantic segmentation by extending SmoothGrad and Grad-CAM++ to obtain quantitative instance saliency. These methods were applied to the segmentation of white matter lesions (WMLs), a magnetic resonance imaging biomarker in multiple sclerosis. We used 4023 FLAIR and MPRAGE MRI scans from 687 patients collected at the University Hospital of Basel, Switzerland, with WML masks annotated by four expert clinicians. Three deep learning architectures, a 3D U-Net, nnU-Net, and Swin UNETR, were trained and evaluated, achieving normalized Dice scores of 0.71, 0.78, and 0.80, respectively. Instance saliency maps showed that the models relied primarily on FLAIR rather than MPRAGE for WML segmentation, with positive saliency inside lesions and negative saliency in their immediate neighborhood, consistent with clinical practice. Peak saliency values differed significantly across correct and incorrect predictions, suggesting that quantitative instance saliency may help identify segmentation errors. In conclusion, we introduce two architecture-agnostic XAI methods that provide quantitative instance-level explanations for semantic segmentation and support clinically meaningful interpretation of model decisions.

研究动机与目标

• 解决基于深度学习的医学影像语义分割中实例级可解释性不足的问题。
• 探究 3D U-Net 模型在多个实例中检测和分割单个 MS 病灶时的决策机制。
• 通过分析真正例、假正例、假负例和真负例病灶体积中的显著性模式，识别模型的脆弱性。
• 通过合成病灶实验，确定可靠病灶分割所需的最小组织上下文。
• 提供定量、实例特定的解释，以支持模型验证、优化及临床整合。

提出的方法

• 将 SmoothGrad 和 Grad-CAM++ 适配于 3D 语义分割，基于梯度显著性生成实例级解释图。
• 在 687 名 MS 患者（共 4043 个 FLAIR 和 MPRAGE 扫描）上训练 3D U-Net，使用专家标注的病灶掩码进行病灶分割。
• 分别以 FLAIR 和 MPRAGE 序列为输入生成显著性图，评估不同模态对预测的贡献。
• 通过在背景、白质区域以及部分病灶周围组织中放置合成病灶，开展消融研究，测试模型对上下文的敏感性。
• 系统性地改变病灶周围组织的范围（通过膨胀操作），测量其对预测置信度和显著性分布的影响。
• 量化真正例（TP）、假正例（FP）、假负例（FN）和真负例（TN）体积中显著性峰值的分布，以评估模型注意力模式及错误检测潜力。

实验结果

研究问题

• RQ1 SmoothGrad 和 Grad-CAM++ 如何生成实例级显著性图，以揭示 3D U-Net 在 MS 病灶分割中的决策过程？
• RQ2 在 MS 病灶检测中，哪种 MRI 序列（FLAIR 或 MPRAGE）对预测的贡献更大，这种差异在显著性图中如何体现？
• RQ3 显著性图模式能否以定量上有意义的方式区分真正例、假正例和假负例的病灶预测？
• RQ4 可靠病灶分割所需的最小病灶周围组织量是多少，其对模型置信度有何影响？
• RQ5 在不同解剖背景（如背景 vs. 白质）中放置合成病灶，如何影响模型的注意力分布和预测可靠性？

主要发现

• 基于 SmoothGrad 的显著性图在病灶内部显示正值，邻近区域显示负值，表明病灶内信号强度增加及周围组织信号强度降低，共同支持病灶预测。
• 与 MPRAGE 相比，FLAIR 序列对模型预测的影响显著更高，表现为所有病灶类型（TP、FP、FN、TN）中均呈现更强的显著性梯度。
• 真正例、假正例、假负例和真负例体积中的显著性峰值分布具有统计学上的显著差异，表明显著性模式可定量区分正确与错误预测。
• 将病灶人为孤立于黑色背景中时无法被检测到，表明模型需要至少约 7mm 的病灶周围组织才能实现可靠分割。
• 预测分数在距离病灶边界 12–15mm 处趋于平稳，表明在此距离之外，额外的上下文组织不再提升分割置信度。
• 模型对 FLAIR 中局部信号强度模式的依赖性以及感受野有限，提示对于大多数病灶而言，96mm³ 的感受野大小可能过大，尤其考虑到在 12–15mm 以上上下文范围性能已趋于平稳。