[论文解读] Inherently Interpretable Multi-Label Classification Using Class-Specific Counterfactuals

Susu Sun, Stefano Woerner+3 more|arXiv (Cornell University)|Mar 1, 2023

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

Attri-Net 是一种新颖的、内在可解释的多标签分类模型，通过生成特定于类别的反事实归因图来在像素级别解释预测结果，相较于事后方法和基线模型 CoDA-Nets，其在分类敏感性和临床一致性方面表现更优，同时保持了与最先进黑箱模型相当的分类性能。

ABSTRACT

Interpretability is essential for machine learning algorithms in high-stakes application fields such as medical image analysis. However, high-performing black-box neural networks do not provide explanations for their predictions, which can lead to mistrust and suboptimal human-ML collaboration. Post-hoc explanation techniques, which are widely used in practice, have been shown to suffer from severe conceptual problems. Furthermore, as we show in this paper, current explanation techniques do not perform adequately in the multi-label scenario, in which multiple medical findings may co-occur in a single image. We propose Attri-Net, an inherently interpretable model for multi-label classification. Attri-Net is a powerful classifier that provides transparent, trustworthy, and human-understandable explanations. The model first generates class-specific attribution maps based on counterfactuals to identify which image regions correspond to certain medical findings. Then a simple logistic regression classifier is used to make predictions based solely on these attribution maps. We compare Attri-Net to five post-hoc explanation techniques and one inherently interpretable classifier on three chest X-ray datasets. We find that Attri-Net produces high-quality multi-label explanations consistent with clinical knowledge and has comparable classification performance to state-of-the-art classification models.

研究动机与目标

• 解决高风险医学人工智能中缺乏忠实且人类可理解的解释问题，特别是针对多种病变共存的多标签场景。
• 克服事后解释技术在概念上的缺陷和不一致性，这些技术无法保证反映模型真实决策机制。
• 开发一种内在可解释的模型，使解释本身即为决策过程，确保忠实性和透明度。
• 在现有内在可解释模型的基础上，引入反事实推理，以生成更具临床意义和局部化的归因图。
• 证明所提出方法生成的解释与临床知识一致，并在定量和定性评估中优于事后方法和基线内在可解释模型。

提出的方法

• 训练一个视觉特征归因生成器，以生成特定于类别的反事实图像，真实地消除输入图像中每种医学发现的影响。
• 利用原始图像与反事实图像之间的差异，生成突出显示每个类别对应区域的像素级归因图。
• 应用一个简单的逻辑回归分类器，仅基于生成的归因图进行最终预测，确保透明性和可解释性。
• 通过重建损失和特定于类别的损失优化归因生成器，确保归因对每种病变更加敏感。
• 将归因图整合到线性决策函数中，使模型的预测成为这些人类可读特征的加权和，从而实现直接可解释性。
• 采用多任务学习设置，使模型在联合训练中同时实现输入图像的重建和每个类别的准确归因图生成。

Figure 1: Attri-Net Framework. Given an input image and a task, our visual feature attribution generator (a) produces counterfactual attribution maps. Based on these maps a logistic regression classifier (b) produces the final prediction for each class.

实验结果

研究问题

• RQ1 在多标签医学图像分类中，基于反事实的归因图是否能产生比事后解释技术更忠实且更具临床意义的解释？
• RQ2 Attri-Net 在生成类别敏感归因图方面的性能与最先进内在可解释模型 CoDA-Nets 相比如何？
• RQ3 Attri-Net 生成的归因图在多大程度上与临床知识及特定病变相关的解剖区域一致？
• RQ4 与基于梯度或扰动的方法相比，使用特定于类别的反事实是否能带来更一致且可靠的解释，适用于不同图像和病变更？
• RQ5 内在可解释模型是否能在提供透明的像素级解释的同时，保持与最先进黑箱模型相当的分类准确率？

主要发现

• 在所有三个胸部 X 光数据集上，Attri-Net 的平均敏感度显著优于 CoDA-Nets，且其平均敏感度值更接近最优的 1.0，表明归因被正确地定位到病变更阳性区域。
• 该方法在定量和定性评估中均优于全部五种事后解释技术——Guided Backpropagation、GradCAM、LIME、SHAP 和 Gifsplanation，其中 SHAP 和 Gifsplanation 最为接近，但仍逊色于 Attri-Net。
• 定性分析表明，Attri-Net 的归因图清晰地突出了与特定病变（如肺不张、胸腔积液、心脏扩大）相关的解剖区域，且预测置信度越高，归因越集中和准确。
• 相比之下，CoDA-Nets 在所有类别上生成的归因图视觉上相似且缺乏区分度，缺乏特异性和临床相关性。
• Attri-Net 的归因图在不同类别间具有明显差异，并聚焦于不同的解剖区域，表明病理特征被有效解耦。
• 即使在临床边界框之外的区域，Attri-Net 仍能生成强烈的归因，表明其可能检测到标准分级方案未捕捉到的细微相关效应，这可能具有临床信息价值。

Figure 2: Visual comparison of explanations for an example image from the CheXpert dataset. Predicted class probabilities are indicated in the lower left corner of each attribution map with the respective decision threshold in parentheses.