[论文解读] Gifsplanation via Latent Shift: A Simple Autoencoder Approach to Progressive Exaggeration on Chest X-rays.

Joseph Cohen, Rupert Brooks+5 more|arXiv (Cornell University)|Feb 18, 2021

Radiomics and Machine Learning in Medical Imaging被引用 3

一句话总结

本文提出 Latent Shift，一种基于自编码器的简单方法，通过逐步夸张或抑制影响分类器预测的潜在表征特征，来操控胸部X光片的潜在表示。在放射科医生的读者研究中，Latent Shift 提升了用户对真正阳性预测的信心（5分制评分中为 0.15±0.95，p=0.01），同时仅导致假阳性轻微增加（0.04±1.06，p=0.57），优于传统显著性图。

ABSTRACT

Motivation: Traditional image attribution methods struggle to satisfactorily explain predictions of neural networks. Prediction explanation is important, especially in the medical imaging, for avoiding the unintended consequences of deploying AI systems when false positive predictions can impact patient care. Thus, there is a pressing need to develop improved models for model explainability and introspection. Specific Problem: A new approach is to transform input images to increase or decrease features which cause the prediction. However, current approaches are difficult to implement as they are monolithic or rely on GANs. These hurdles prevent wide adoption. Our approach: Given an arbitrary classifier, we propose a simple autoencoder and gradient update (Latent Shift) that can transform the latent representation of an input image to exaggerate or curtail the features used for prediction. We use this method to study chest X-ray classifiers and evaluate their performance. We conduct a reader study with two radiologists assessing 240 chest X-ray predictions to identify which ones are false positives (half are) using traditional attribution maps or our proposed method. Results: We found low overlap with ground truth pathology masks for models with reasonably high accuracy. However, the results from our reader study indicate that these models are generally looking at the correct features. We also found that the Latent Shift explanation allows a user to have more confidence in true positive predictions compared to traditional approaches (0.15$\pm$0.95 in a 5 point scale with p=0.01) with only a small increase in false positive predictions (0.04$\pm$1.06 with p=0.57). Accompanying webpage: this https URL Source code: this https URL

研究动机与目标

• 为解决医学影像中缺乏有效且用户友好的模型解释方法的问题，特别是针对可能影响患者护理的假阳性预测。
• 克服单一模型或基于生成对抗网络（GAN）的显著性方法的局限性，这些方法阻碍了其在临床人工智能系统中的广泛应用。
• 开发一种简单且可泛化的模型，能够通过变换潜在表征来夸张或抑制影响模型预测的特征。
• 评估所提出方法是否能提升放射科医生识别正确预测特征的能力，并增强其对预测结果的信心。

提出的方法

• 使用可训练的自编码器学习输入胸部X光片图像的紧凑潜在表征。
• 通过梯度上升或下降更新给定输入图像的潜在码，以放大或抑制与模型预测相关的特征。
• 重建损失确保变换后的图像在解剖学上合理，并与原始图像在分布上保持接近。
• 该方法可后处理应用于任意预训练分类器，使其与模型无关，易于集成到现有流程中。
• 通过沿预测梯度方向迭代移动潜在码，实现渐进式夸张。
• 生成的图像用作视觉解释，帮助用户理解模型依赖的特征。

实验结果

研究问题

• RQ1 像 Latent Shift 这样基于简单自编码器的方法，与传统显著性图相比，能否提升胸部X光片分类器的可解释性？
• RQ2 Latent Shift 是否能增强放射科医生对识别真正阳性预测的信心？
• RQ3 Latent Shift 在多大程度上通过突出显示相关解剖学特征，减少了对假阳性预测的误判？
• RQ4 信心提升是源于更优的特征定位，还是解释中感知清晰度的提高？
• RQ5 该方法在解释过程中如何影响假阳性预测的发生率？

主要发现

• 即使对于准确率尚可的模型，传统显著性图与真实病理掩码的重叠度也较低。
• 尽管与真实病理掩码重叠度差，使用 Latent Shift 的放射科医生仍比使用传统方法更可靠地识别出正确的预测特征。
• 使用 Latent Shift 时，放射科医生对真正阳性预测的信心显著提高（5分制评分中为 0.15±0.95，p=0.01）。
• 该方法仅导致假阳性预测轻微增加，且无统计学显著性（0.04±1.06，p=0.57），表明误导用户的风险极低。
• Latent Shift 在无需修改网络架构或复杂训练的情况下，显著提升了深度学习模型在胸部X光片分析中的可解释性。
• 该方法具有良好的泛化能力，可应用于任意预训练分类器，有助于在医疗人工智能系统中广泛推广。