[论文解读] Interpretation of Disease Evidence for Medical Images Using Adversarial Deformation Fields

Ricardo Bigolin Lanfredi, Joyce Schroeder+2 more|arXiv (Cornell University)|Jul 3, 2020

Cell Image Analysis Techniques参考文献 41被引用 8

一句话总结

该论文提出DeFI-GAN，一种新颖的方法，通过对抗性训练的生成网络生成形变场，将患病医学影像转换为类似健康影像的形态，从而揭示空间上的疾病证据。该方法在纵向影像验证中优于基线方法，并揭示了传统方法无法检测到的临床相关生物标志物和潜在数据集偏差。

ABSTRACT

The high complexity of deep learning models is associated with the difficulty of explaining what evidence they recognize as correlating with specific disease labels. This information is critical for building trust in models and finding their biases. Until now, automated deep learning visualization solutions have identified regions of images used by classifiers, but these solutions are too coarse, too noisy, or have a limited representation of the way images can change. We propose a novel method for formulating and presenting spatial explanations of disease evidence, called deformation field interpretation with generative adversarial networks (DeFI-GAN). An adversarially trained generator produces deformation fields that modify images of diseased patients to resemble images of healthy patients. We validate the method studying chronic obstructive pulmonary disease (COPD) evidence in chest x-rays (CXRs) and Alzheimer's disease (AD) evidence in brain MRIs. When extracting disease evidence in longitudinal data, we show compelling results against a baseline producing difference maps. DeFI-GAN also highlights disease biomarkers not found by previous methods and potential biases that may help in investigations of the dataset and of the adopted learning methods.

研究动机与目标

• 解决深度学习模型在医学影像中缺乏细粒度、空间一致的疾病证据解释的问题。
• 克服现有可视化归因方法的局限性，这些方法通常过于粗糙、噪声大，或无法准确反映疾病引起的解剖形状和大小变化。
• 开发一种生成逼真、空间有意义形变的方法，以揭示模型如何识别疾病，特别是形态学变化。
• 使用纵向数据在慢性阻塞性肺病（COPD）的胸部X光片和阿尔茨海默病（AD）的脑部磁共振成像中验证该方法。
• 通过形变场解释识别潜在的模型偏差和临床相关生物标志物。

提出的方法

• DeFI-GAN采用生成对抗网络（GAN）框架，其中生成器生成形变场，将患病图像（x1）转换为外观更健康的修改图像（x̂0）。
• 生成器G将输入图像x1映射为向量场φ，修改图像通过双线性/三线性插值计算：x̂0(p) = x1(p + φ(p))。
• 判别器D通过WGAN损失公式训练，以区分真实健康图像（x0）与生成的修改图像（x̂0），确保训练稳定性。
• 梯度惩罚（LRegD）施加WGAN所需的Lipschitz约束，提升训练收敛性。
• 全变差正则化（LRegG）惩罚复杂、不切实际的形变，促进平滑且解剖学上合理的场输出。
• 完整优化最小化组合损失：生成器为LG + λRegG·LRegG，判别器为LD + λRegD·LRegD。

实验结果

研究问题

• RQ1 与现有可视化归因方法相比，形变场是否能提供更准确、更空间一致的医学影像疾病证据解释？
• RQ2 与VA-GAN等基线方法相比，DeFI-GAN是否能提升纵向预测性能？
• RQ3 通过形变场分析，能否揭示差值图基方法所遗漏的临床相关生物标志物或意外偏差？
• RQ4 与基于加性扰动的方法相比，DeFI-GAN生成的形变场在可解释性和解剖学合理性方面表现如何？
• RQ5 DeFI-GAN能否突出显示传统放射学报告中未强调的细微、非直观的解剖改变，这些改变与疾病相关？

主要发现

• DeFI-GAN在纵向影像验证中优于VA-GAN基线，在COPD数据集上达到0.825的平均NCC评分，在ADNI数据集上达到0.781，表明修改图像与健康对照图像的对齐更好。
• 与VA-GAN相比，该方法生成的形变场更平滑、空间一致性更强，而VA-GAN生成的差值图则更嘈杂、不真实。
• DeFI-GAN成功凸显了已知的COPD生物标志物，如气管狭窄（剑鞘样气管）、横膈膜抬高和软组织增厚，这些在VA-GAN输出中不那么明显。
• 识别出意外但可能具有临床意义的变化，包括胃泡体积减小和锁骨位置升高，可能反映患者体位偏差或共病（如骨质疏松）的影响。
• 该方法揭示了AD患者海马体、楔前叶、小脑和脑干的萎缩，与已知的神经退行性变模式一致，并凸显了细微的脑室扩大。
• DeFI-GAN揭示了潜在的数据集偏差，如肺尖体积变化和肩部位置改变，可能源于采集伪影或患者相关因素（如咳嗽或活动能力下降）。