[论文解读] Confounder-Aware Visualization of ConvNets

Qingyu Zhao, Ehsan Adeli+3 more|arXiv (Cornell University)|Jul 30, 2019

Cell Image Analysis Techniques参考文献 12被引用 6

一句话总结

本文提出了一种针对卷积神经网络（ConvNets）的混淆因子感知可视化方法，可从显著性图中去除混淆变量（如年龄、青春期阶段）的虚假影响。通过应用单变量统计检验检测混淆特征，并利用一种新颖的部分反向传播技术抑制其影响，该方法生成了无偏见的、与诊断相关的显著性图，更准确地反映了神经影像研究中真正的与疾病相关的脑部变化。

ABSTRACT

With recent advances in deep learning, neuroimaging studies increasingly rely on convolutional networks (ConvNets) to predict diagnosis based on MR images. To gain a better understanding of how a disease impacts the brain, the studies visualize the salience maps of the ConvNet highlighting voxels within the brain majorly contributing to the prediction. However, these salience maps are generally confounded, i.e., some salient regions are more predictive of confounding variables (such as age) than the diagnosis. To avoid such misinterpretation, we propose in this paper an approach that aims to visualize confounder-free saliency maps that only highlight voxels predictive of the diagnosis. The approach incorporates univariate statistical tests to identify confounding effects within the intermediate features learned by ConvNet. The influence from the subset of confounded features is then removed by a novel partial back-propagation procedure. We use this two-step approach to visualize confounder-free saliency maps extracted from synthetic and two real datasets. These experiments reveal the potential of our visualization in producing unbiased model-interpretation.

研究动机与目标

• 解决基于卷积神经网络的神经影像研究中显著性图受混淆影响的问题，即显著脑区可能反映的是混淆变量（如年龄、青春期阶段）而非目标诊断。
• 开发一种事后方法，识别并去除训练好的卷积神经网络中混淆中间特征的影响，而无需重新训练。
• 通过解耦真正的诊断信号与混淆效应，实现对疾病特异性脑部变化更准确、更具可解释性的可视化。
• 在合成数据和两个真实神经影像数据集（HIV/对照组与青少年性别差异）上验证该方法。
• 证明无混淆显著性图揭示了与诊断相关的生物上合理的脑区，而非年龄或发育阶段。

提出的方法

• 对所有训练图像中的每个中间特征，应用单变量广义线性模型（GLMs），以组别标签和混淆因子（如年龄、PDS）作为预测变量，检验混淆效应。
• 通过评估每个特征在GLM中混淆因子系数的统计显著性（p值），识别出具有显著混淆效应的特征。
• 执行一种新颖的“部分反向传播”程序，仅根据无混淆特征计算显著性分数，从而有效消除混淆特征对最终显著性图的贡献。
• 通过模型重构技巧实现部分反向传播，即在梯度计算过程中固定混淆特征的值，从而高效计算无混淆显著性。
• 将所得的无混淆显著性图用于可视化，并将其叠加在标准脑模板（如SRI24）上，以解释与疾病相关的脑部变化。
• 将该方法应用于具有已知混淆效应的合成数据，以及两个真实神经影像数据集：HIV/对照组与青少年性别差异研究。

实验结果

研究问题

• RQ1 在神经影像的卷积神经网络中，传统显著性图在多大程度上反映的是真正的与疾病相关的脑部变化，而非年龄或青春期阶段等混淆变量？
• RQ2 对中间特征进行单变量统计检验，能否检测出导致深度学习模型显著性图产生偏差的混淆效应？
• RQ3 所提出的部分反向传播程序是否能有效消除显著性图中的混淆影响，同时保留疾病特异性信号？
• RQ4 与标准显著性图相比，无混淆显著性图在揭示HIV相关脑萎缩和性别差异方面，是否能更准确地呈现生物上合理的脑区？
• RQ5 该方法是否可推广至其他存在年龄或发育阶段等混淆因子的神经影像任务？

主要发现

• 在HIV/对照组数据集中，4,096个中间特征中有804个显著受年龄混淆影响，表明衰老对模型预测有强烈影响。
• 在去除与年龄相关的混淆效应后，后侧脑室区域的显著性减弱，与已知的年龄相关脑室扩大一致，表明原始显著性图在该区域高估了HIV的影响。
• HIV/对照组的无混淆显著性图揭示了尾状核和颞叶等区域更符合生理学的、双侧对称的萎缩模式，与既有的神经解剖学发现一致。
• 在青少年性别差异研究中，去除青春期阶段（PDS）影响后，尾状核区域的显著性降低，表明PDS对该区域存在叠加性影响。
• 性别差异研究的无混淆显著性图突出显示颞叶为性别差异的主要区域，与现有关于青少年脑发育的研究结果一致。
• 该方法在HIV/对照组数据集上达到73%的归一化准确率，在NCANDA数据集上达到89.5%，证明了其在保持有效模型性能的同时，实现了无偏见的可解释性。