[论文解读] ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities

Yixin Wang, Yang Zhang+7 more|arXiv (Cornell University)|Jun 28, 2021

Brain Tumor Detection and Classification参考文献 22被引用 8

一句话总结

该论文提出了一种对抗性协同训练网络（ACN），用于在缺失MRI模态的情况下进行脑肿瘤分割，通过熵和知识对抗模块，在完整模态与缺失模态路径之间实现耦合学习，并引入模态间互信息传递。ACN在多种模态缺失的情况下显著优于当前最先进方法，在WT上DSC超过80%，在ET/TC上达到40%以上，展现出在临床挑战性场景下的鲁棒性。

ABSTRACT

Accurate segmentation of brain tumors from magnetic resonance imaging (MRI) is clinically relevant in diagnoses, prognoses and surgery treatment, which requires multiple modalities to provide complementary morphological and physiopathologic information. However, missing modality commonly occurs due to image corruption, artifacts, different acquisition protocols or allergies to certain contrast agents in clinical practice. Though existing efforts demonstrate the possibility of a unified model for all missing situations, most of them perform poorly when more than one modality is missing. In this paper, we propose a novel Adversarial Co-training Network (ACN) to solve this issue, in which a series of independent yet related models are trained dedicated to each missing situation with significantly better results. Specifically, ACN adopts a novel co-training network, which enables a coupled learning process for both full modality and missing modality to supplement each other's domain and feature representations, and more importantly, to recover the `missing' information of absent modalities. Then, two unsupervised modules, i.e., entropy and knowledge adversarial learning modules are proposed to minimize the domain gap while enhancing prediction reliability and encouraging the alignment of latent representations, respectively. We also adapt modality-mutual information knowledge transfer learning to ACN to retain the rich mutual information among modalities. Extensive experiments on BraTS2018 dataset show that our proposed method significantly outperforms all state-of-the-art methods under any missing situation.

研究动机与目标

• 解决因临床限制（如伪影、过敏或扫描时间）导致多个MRI模态缺失时的脑肿瘤分割挑战。
• 克服统一模型在超过一种模态缺失时性能显著下降的局限性。
• 为每种缺失模态场景开发专用但相关的模型，以提高分割精度。
• 利用信息论原理和对抗性域/特征对齐，实现从完整模态到缺失模态的知识迁移。
• 通过无监督对抗学习减少完整模态与缺失模态表示之间的不确定性与域偏移。

提出的方法

• ACN采用双路径架构：多模态路径用于完整模态学习，单模态路径用于单模态推理，实现两者的协同训练。
• 熵对抗学习模块（EnA）通过对齐预测不确定性分布，最小化完整模态与缺失模态表示之间的域差距。
• 知识对抗学习模块（KnA）促进多模态路径与单模态路径之间潜在特征表示的一致性，提升特征一致性。
• 模态间互信息知识迁移模块（MMI）通过变分信息最大化恢复缺失模态的知识，保留丰富的模态间依赖关系。
• 协同训练框架结合一致性损失与对抗模块，联合优化两条路径，实现域表示与特征表示的相互增强。
• 该方法端到端训练，并针对每种特定的缺失模态配置进行适配，实现无需微调的专用推理。

实验结果

研究问题

• RQ1 在脑肿瘤影像中多个MRI模态缺失的情况下，协同训练框架能否有效提升分割性能？
• RQ2 对抗性域自适应如何应用于弥合完整模态与缺失模态表示之间分布差距的医学图像分割任务？
• RQ3 在不完整数据场景下，模态间的互信息能在多大程度上被利用以恢复缺失知识？
• RQ4 所提出的ACN在所有缺失模态配置下是否均优于统一模型的分割精度？
• RQ5 无监督对抗模块能否在无需标注缺失模态数据的情况下，提升预测可靠性与表示对齐？

主要发现

• 当仅提供T1ce模态时，ACN在全肿瘤（WT）上的平均DSC达到80.92%，显著优于KD-Net的80.52%。
• 在T1ce与Flair均缺失的挑战性条件下，ACN在增强肿瘤（ET）上的DSC达到42.98%，优于KD-Net的39.04%。
• 当仅提供T2模态时，ACN在WT上的DSC达到87.30%，超过KD-Net的85.14%。
• 消融研究证实，EnA、KnA与MMI三个模块协同作用显著，完整ACN模型在仅T1ce可用时的平均DSC达到80.92%。
• 定性结果表明，ACN能降低预测不确定性（熵），并在高缺失模态条件下仍提升分割精度。
• ACN在所有缺失场景下均表现出卓越鲁棒性，包括多模态缺失的情况，而先前方法在这些情况下DSC低于20%。