[论文解读] Gifsplanation via Latent Shift: A Simple Autoencoder Approach to Counterfactual Generation for Chest X-rays

Joseph Cohen, Rupert Brooks+5 more|arXiv (Cornell University)|Feb 18, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 23被引用 21

一句话总结

本文提出了一种基于自编码器的简单方法——潜在位移（Latent Shift），通过调整输入的潜在表征来生成反事实胸部X光片，以放大或抑制影响分类器预测的特征。该方法在不显著增加误报置信度的前提下，提升了用户对真正阳性预测的信心（在5分制量表上提升0.15分，p=0.01），在放射科医生可解释性方面优于传统显著性图。

ABSTRACT

Motivation: Traditional image attribution methods struggle to satisfactorily explain predictions of neural networks. Prediction explanation is important, especially in medical imaging, for avoiding the unintended consequences of deploying AI systems when false positive predictions can impact patient care. Thus, there is a pressing need to develop improved models for model explainability and introspection. Specific problem: A new approach is to transform input images to increase or decrease features which cause the prediction. However, current approaches are difficult to implement as they are monolithic or rely on GANs. These hurdles prevent wide adoption. Our approach: Given an arbitrary classifier, we propose a simple autoencoder and gradient update (Latent Shift) that can transform the latent representation of a specific input image to exaggerate or curtail the features used for prediction. We use this method to study chest X-ray classifiers and evaluate their performance. We conduct a reader study with two radiologists assessing 240 chest X-ray predictions to identify which ones are false positives (half are) using traditional attribution maps or our proposed method. Results: We found low overlap with ground truth pathology masks for models with reasonably high accuracy. However, the results from our reader study indicate that these models are generally looking at the correct features. We also found that the Latent Shift explanation allows a user to have more confidence in true positive predictions compared to traditional approaches (0.15$\pm$0.95 in a 5 point scale with p=0.01) with only a small increase in false positive predictions (0.04$\pm$1.06 with p=0.57). Accompanying webpage: https://mlmed.org/gifsplanation Source code: https://github.com/mlmed/gifsplanation

研究动机与目标

• 解决传统显著性图在解释医学影像深度学习预测时的局限性。
• 开发一种模块化、易于实现的方法，可与现有预训练分类器配合使用，避免复杂的生成对抗网络（GAN）训练。
• 通过生成夸大或减弱影响预测结果的特征的反事实图像，提升模型可解释性。
• 评估Latent Shift是否能增强放射科医生在识别分类器所用正确特征方面的信心与准确性。
• 将Latent Shift与传统显著性图方法在临床相关性及与真实病理掩码的一致性方面进行比较。

提出的方法

• 该方法使用一个预训练的自编码器（编码器E，解码器D）和一个独立的分类器f，两者均可微分且独立训练。
• 对于输入图像x，潜在码z通过z = E(x)获得，随后计算λ位移后的潜在码z_λ = z + λ·∂f(D(z))/∂z。
• 反事实图像通过x′_λ = D(z_λ)重建，其预测得分应高于原始输入，即f(x′_λ) > f(x)。
• 通过多个λ值生成一系列图像，可拼接为GIF以可视化随时间推移的特征变化过程。
• 通过光流可视化变化，并追踪GIF序列中预测结果的演变过程。
• 通过两名放射科医生参与的读者研究对方法进行评估，将Latent Shift与传统显著性图（如Grad-CAM、Integrated Gradients）进行对比。

实验结果

研究问题

• RQ1 与传统显著性图相比，Latent Shift是否提升了放射科医生对模型预测的信心？
• RQ2 Latent Shift所突出的特征是否比传统方法更符合放射科医生对正确病灶位置的判断？
• RQ3 在识别误报预测方面，Latent Shift与传统显著性图相比表现如何？
• RQ4 模型识别的特征与放射科医生对特征正确性的评估之间是否存在IoU相关性？
• RQ5 Latent Shift能否有效揭示模型是否依赖虚假相关特征（如胸管）而非实际病灶进行预测？

主要发现

• 放射科医生报告称，在使用Latent Shift时，对真正阳性预测的信心较传统显著性图提升了0.15分（p=0.01），具有统计学显著性。
• 对误报预测的置信度未出现显著提升（仅增加0.04分，p=0.57），表明Latent Shift不会在错误案例中引发过度自信。
• 尽管显著性图的AUC得分较高（如Mass的AUC为0.92），但其与真实病理掩码之间的IoU较低，表明与病灶的空间对齐性差。
• 读者研究发现，IoU值越高，放射科医生越倾向于认为所突出的特征正确，表明IoU是临床相关性的有意义代理指标。
• 放射科医生认为Latent Shift更具直观性，并指出其能更好地突出异常区域的边界，从而提升了对模型推理过程的评估能力。
• 一名放射科医生观察到，模型通过胸管预测气胸，这一虚假相关特征经由Latent Shift的可视化得到证实，凸显了模型在低分辨率下的脆弱性。