[论文解读] Interpretable Mammographic Image Classification using Case-Based Reasoning and Deep Learning

Alina Jade Barnett, Fides R. Schwartz+5 more|arXiv (Cornell University)|Jul 12, 2021

AI in cancer detection被引用 7

一句话总结

本文提出了一种用于乳腺X线图像分类的可解释深度学习模型，结合案例推理与原型网络，以检测临床上相关的特征（例如，肿块边缘）并预测恶性程度。该模型在保持与黑箱模型相当或更优的准确率的同时，通过学习代表性图像部分并基于医学知识生成预测，提供了透明且与放射科医生一致的解释。

ABSTRACT

When we deploy machine learning models in high-stakes medical settings, we must ensure these models make accurate predictions that are consistent with known medical science. Inherently interpretable networks address this need by explaining the rationale behind each decision while maintaining equal or higher accuracy compared to black-box models. In this work, we present a novel interpretable neural network algorithm that uses case-based reasoning for mammography. Designed to aid a radiologist in their decisions, our network presents both a prediction of malignancy and an explanation of that prediction using known medical features. In order to yield helpful explanations, the network is designed to mimic the reasoning processes of a radiologist: our network first detects the clinically relevant semantic features of each image by comparing each new image with a learned set of prototypical image parts from the training images, then uses those clinical features to predict malignancy. Compared to other methods, our model detects clinical features (mass margins) with equal or higher accuracy, provides a more detailed explanation of its prediction, and is better able to differentiate the classification-relevant parts of the image.

研究动机与目标

• 开发一种本质上可解释的深度学习模型，用于乳腺X线图像分类，以支持临床决策。
• 确保模型预测基于临床相关特征（例如，肿块边缘），而非成像设备或患者年龄等混杂因素。
• 提供与放射科医生推理过程一致的解释，以增强信任度并促进临床应用。
• 在准确率和可解释性方面超越黑箱模型，特别是在病灶尺度特征激活精度方面。
• 证明可解释模型可以在不依赖虚假相关性的情况下，匹配或超越不可解释模型的性能。

提出的方法

• 该模型采用基于原型的神经网络架构，其中每个学习到的原型对应一个临床上相关的图像部分（例如，边界清晰或毛刺状的肿块边缘）。
• 对于每张测试图像，网络通过ℓ₂距离计算图像块与学习到的原型之间的相似度得分，生成突出相关区域的激活图。
• 将最接近原型的相似度得分输入全连接层，以预测肿块边缘类型和恶性概率。
• 恶性程度预测通过在边缘得分上训练的线性模型计算：ŷmal = -16ŷcircumscribed -10ŷindistinct +6ŷspiculated，随后应用Sigmoid函数。
• 模型分两个阶段训练：首先学习原型并检测相关特征，然后将边缘预测映射到恶性结果。
• 通过限制模型仅使用与边缘相关的特征，确保可解释性，避免使用患者年龄或扫描仪类型等混杂信息。

实验结果

研究问题

• RQ1 可解释的深度学习模型是否能在乳腺肿块边缘和恶性程度分类中达到与黑箱模型相当的性能？
• RQ2 该模型的注意力机制是否与放射科医生的临床推理一致，通过与人工绘制的注意力图的一致性进行衡量？
• RQ3 基于原型的方法是否能以比现有可解释或黑箱模型更高的精度检测临床上相关的特征（例如，肿块边缘）？
• RQ4 限制模型仅使用基于边缘的特征是否能防止其依赖混杂信息，从而提高临床可信度？
• RQ5 完全可解释的模型是否能匹配放射科医生在恶性程度预测中的表现，同时提供透明且基于规则的推理？

主要发现

• IAIA-BL在恶性程度预测中达到AUROC为0.84 [0.74, 0.94]，尽管仅依赖基于边缘的特征，其性能与不可解释的端到端VGG-16（0.87 [0.82, 0.93]）相当。
• 在肿块边缘分类中，IAIA-BL达到AUROC为0.947 [0.9, 1.0]，与ProtoPNet和VGG-16相当或更优，且病灶尺度的激活精度显著更高。
• 该模型的激活图与放射科医生标注的注意力图具有显著一致性（κ = 0.74 [0.60, 0.86]），超过以往研究中放射科医生之间的组内一致性。
• IAIA-BL在激活精度方面优于ProtoPNet和VGG-16，表明其能更好地隔离与分类相关图像区域，避免虚假激活。
• 线性恶性程度预测模型（ŷmal = -16ŷcircumscribed -10ŷindistinct +6ŷspiculated）与已知医学知识一致：毛刺状边缘与更高的恶性风险相关。
• 该模型仅依赖边缘特征，避免利用混杂信息（例如，从乳腺密度推断的患者年龄），从而增强了临床有效性。