[论文解读] Bilateral Asymmetry Guided Counterfactual Generating Network for Mammogram Classification

Churan Wang, Jing Li+5 more|arXiv (Cornell University)|Sep 30, 2020

AI in cancer detection参考文献 52被引用 20

一句话总结

本文提出了一种基于双边对称性的反事实生成网络（CGN），仅使用图像级别标签进行乳腺X线摄影分类。通过利用解剖对称性先验——即病变在双侧乳房对应区域中罕见——该方法基于生成对抗网络（GAN）框架生成反事实特征，通过对抗训练和分类损失反馈，联合优化病变定位与分类。该方法在INBreast和自建数据集上均达到最先进性能，特征级别准确率达91.0%，且训练速度优于图像级别生成方法。

ABSTRACT

Mammogram benign or malignant classification with only image-level labels is challenging due to the absence of lesion annotations. Motivated by the symmetric prior that the lesions on one side of breasts rarely appear in the corresponding areas on the other side, given a diseased image, we can explore a counterfactual problem that how would the features have behaved if there were no lesions in the image, so as to identify the lesion areas. We derive a new theoretical result for counterfactual generation based on the symmetric prior. By building a causal model that entails such a prior for bilateral images, we obtain two optimization goals for counterfactual generation, which can be accomplished via our newly proposed counterfactual generative network. Our proposed model is mainly composed of Generator Adversarial Network and a \emph{prediction feedback mechanism}, they are optimized jointly and prompt each other. Specifically, the former can further improve the classification performance by generating counterfactual features to calculate lesion areas. On the other hand, the latter helps counterfactual generation by the supervision of classification loss. The utility of our method and the effectiveness of each module in our model can be verified by state-of-the-art performance on INBreast and an in-house dataset and ablation studies.

研究动机与目标

• 为仅使用图像级别标签的乳腺X线摄影良/恶性分类问题提供解决方案，避免昂贵的病变标注。
• 利用解剖对称性先验——即病变不太可能出现在双侧乳房对应区域——作为病变定位的领域特定归纳偏置。
• 生成模拟目标图像在无病变情况下的反事实特征，基于对称性构建的因果模型。
• 通过反馈机制联合优化反事实生成与分类，提升可解释性与性能。

提出的方法

• 提出一种带有隐性混杂因子的结构因果模型（SCM），用于建模双边对称性，确保反事实特征在无病变区域与参考特征一致。
• 提出一种新型反事实生成网络（CGN），在特征空间中运行，避免像素级配准问题。
• 采用生成器-判别器网络结构并引入反馈机制：分类损失指导反事实生成，而生成的特征又提升分类性能。
• 采用三元组损失（LF T）以确保原始特征、反事实特征与参考特征之间的一致性，结合对抗损失与重建损失。
• 联合优化多种损失：LG（生成器）、LD（判别器）、LNE（归一化）、LFC（特征一致性）和LCLS（分类）。
• 对参考图像应用水平翻转以实现对齐，并使用256个特征通道上的最大池化操作进行可视化。

实验结果

研究问题

• RQ1 能否正式利用双边对称性先验，为乳腺X线摄影中的病变定位生成有意义的反事实特征？
• RQ2 如何在医学影像中通过结构因果模型（SCM）将反事实生成形式化为因果推断问题？
• RQ3 在仅使用图像级别标签的情况下，反事实生成与分类的联合优化能否超越监督基线模型的性能？
• RQ4 在准确率与训练速度方面，特征级别反事实生成是否优于图像级别生成？

主要发现

• 所提出的CGN在INBreast数据集上使用AlexNet进行肿块分类时，AUC达到91.0%，优于所有变体与基线模型。
• 在使用ResNet50进行混合病变分类时，该方法在INBreast数据集上达到88.5% AUC，在自建数据集上达到78.1% AUC，展现出对多种病变类型的鲁棒性。
• 消融实验表明，若移除对抗损失或反馈三元组损失，性能均出现下降，验证了两个组件的必要性。
• 特征级别反事实生成在每轮训练中仅需6.6秒，准确率达91.0%，显著快于图像级别生成（每轮23.5秒）。
• 可视化结果表明，生成的反事实特征能有效抑制与病变相关的激活，同时在残差特征中保留上下文信息。
• 该方法在性能上明显优于SBF、GF和SFF等现有双边比较方法，证明了反事实学习相较于简单特征融合的优越性。