[论文解读] CheXplaining in Style: Counterfactual Explanations for Chest X-rays using StyleGAN

Matan Atad, Vitalii Dmytrenko+7 more|arXiv (Cornell University)|Jul 15, 2022

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

本文提出StyleEx，一种通过基于StyleGAN的潜在空间操作生成胸部X光片诊断临床相关反事实解释的方法。通过引入EigenFind——一种基于主成分分析（PCA）的潜在空间分解技术，将反事实搜索时间从数小时缩短至数分钟，同时保持高度临床相关性，经放射科医生验证，生成的特征变化与真实病理体征一致。

ABSTRACT

Deep learning models used in medical image analysis are prone to raising reliability concerns due to their black-box nature. To shed light on these black-box models, previous works predominantly focus on identifying the contribution of input features to the diagnosis, i.e., feature attribution. In this work, we explore counterfactual explanations to identify what patterns the models rely on for diagnosis. Specifically, we investigate the effect of changing features within chest X-rays on the classifier's output to understand its decision mechanism. We leverage a StyleGAN-based approach (StyleEx) to create counterfactual explanations for chest X-rays by manipulating specific latent directions in their latent space. In addition, we propose EigenFind to significantly reduce the computation time of generated explanations. We clinically evaluate the relevancy of our counterfactual explanations with the help of radiologists. Our code is publicly available.

研究动机与目标

• 通过生成揭示图像变化如何改变模型预测的反事实解释，解决深度学习模型在医学影像中的黑箱问题。
• 提高在胸部X光片中寻找分类器特定潜在方向以生成反事实解释的计算效率。
• 通过放射科专家评估验证生成反事实的临床相关性。
• 证明通过StyleGAN进行潜在空间操作可揭示有意义且具有诊断意义的图像特征。

提出的方法

• 该方法使用在CheXpert数据集上训练的条件StyleGAN2生成器，通过分类器预测结果进行条件控制，生成具有特定诊断标签的图像。
• 使用冻结的DenseNet分类器预测病理标签，同时通过编码器将真实X光片图像映射到StyleGAN潜在空间。
• 利用主成分分析（PCA）对潜在空间进行分解，以识别最具影响力的主方向（特征向量），从而通过EigenFind实现高效的反事实搜索。
• 通过沿对应目标诊断的前几位特征向量扰动潜在码来生成反事实图像，使图像在语义上发生改变但保持视觉合理性。
• 采用改进的搜索算法发现分类器特定的潜在方向，优先考虑具有临床意义的特征变化。
• 整个流程通过路径长度正则化和R1正则化进行端到端训练，以稳定训练过程并提升生成质量。

实验结果

研究问题

• RQ1 通过StyleGAN中的潜在空间操作生成的反事实解释，能否揭示胸部X光片分类中具有诊断意义的图像变化？
• RQ2 如何在不牺牲解释质量的前提下降低搜索分类器特定潜在方向的计算成本？
• RQ3 生成反事实中的特征变化是否具有临床相关性，并能被专家放射科医生识别？
• RQ4 模型能否通过反事实生成学习到特定解剖学指标（如起搏器、与年龄相关的特征）与相应病理之间的关联？

主要发现

• EigenFind在三种病理上的反事实生成成功率与AttFind相当（94–96%），但将搜索时间从12小时缩短至Tesla P100 GPU上的5分钟。
• 放射科医生确认，EigenFind生成的最重要特征向量成功突出了关键病理特征，如心胸比例增加、胸膜隐窝阻塞和纵隔移位。
• 生成的反事实图像准确反映了已知临床体征：例如心脏扩大、胸腔积液和纵隔移位在视觉和临床上均合理。
• 模型成功学习到起搏器和年龄相关特征与心肌肥大之间的关联，表明其在捕捉临床相关模式方面具有鲁棒性。
• 该方法在三种病理上对91–96%的测试图像成功生成了反事实，表明其具有高可靠性与泛化能力。
• 在潜在空间中采用基于PCA的分解方法，实现了高效且可解释的最具影响力特征识别，从而揭示了驱动模型预测的关键因素。