[论文解读] Conditional Adversarial Network for Semantic Segmentation of Brain Tumor

Mina Rezaei, Konstantin Harmuth+5 more|arXiv (Cornell University)|Aug 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 32

一句话总结

本文提出一种条件生成对抗网络（cGAN），用于在MRI扫描中实现端到端的脑肿瘤语义分割，采用U-Net生成器和马尔可夫判别器以提高分割精度。该方法在BraTS 2017验证集上实现了0.68的DICE分数、0.99的敏感度和0.98的特异度，表明其在有限且异质的医学数据上具有稳健性能。

ABSTRACT

Automated medical image analysis has a significant value in diagnosis and treatment of lesions. Brain tumors segmentation has a special importance and difficulty due to the difference in appearances and shapes of the different tumor regions in magnetic resonance images. Additionally, the data sets are heterogeneous and usually limited in size in comparison with the computer vision problems. The recently proposed adversarial training has shown promising results in generative image modeling. In this paper, we propose a novel end-to-end trainable architecture for brain tumor semantic segmentation through conditional adversarial training. We exploit conditional Generative Adversarial Network (cGAN) and train a semantic segmentation Convolution Neural Network (CNN) along with an adversarial network that discriminates segmentation maps coming from the ground truth or from the segmentation network for BraTS 2017 segmentation task[15, 4, 2, 3]. We also propose an end-to-end trainable CNN for survival day prediction based on deep learning techniques for BraTS 2017 prediction task [15, 4, 2, 3]. The experimental results demonstrate the superior ability of the proposed approach for both tasks. The proposed model achieves on validation data a DICE score, Sensitivity and Specificity respectively 0.68, 0.99 and 0.98 for the whole tumor, regarding online judgment system.

研究动机与目标

• 解决在采集协议各异的异质性、有限MRI数据集中实现准确脑肿瘤分割的挑战。
• 通过对抗训练提高小规模医学影像数据集中的分割鲁棒性并减少过拟合。
• 开发一种端到端可训练的深度学习模型，用于从多模态MRI和临床数据中预测患者生存天数。
• 将条件GAN集成到语义分割中，以增强肿瘤区域的结构一致性和边界精确度。
• 为临床任务（如胶质母细胞瘤患者的肿瘤分割和生存预测）提供自动化、可扩展且可泛化的解决方案。

提出的方法

• 采用条件生成对抗网络框架，其中基于U-Net的生成器利用多模态MRI输入执行脑肿瘤的语义分割。
• 训练一个马尔可夫判别器，以区分真实分割图（真实标签）与生成器生成的分割图。
• 在生成器中使用虚拟批量归一化（Virtual-BatchNorm）以稳定训练，并提高在患者特异性MRI数据上的泛化能力。
• 通过水平/垂直翻转和重缩放进行数据增强，以缓解在有限训练数据上的过拟合。
• 设计一种具有双流结构的并行CNN架构：一路处理多模态MRI特征，另一路处理临床数据（年龄、生存天数），两者均归一化至[0,1]区间。
• 使用均方误差损失优化生存预测模型，并将所有目标变量映射到[0,1]区间以实现一致的训练。

实验结果

研究问题

• RQ1 条件生成对抗网络能否提升在异质性MRI数据集中脑肿瘤语义分割的准确性和鲁棒性？
• RQ2 通过判别器进行对抗训练在多大程度上增强了生成器精确预测肿瘤边界的能力？
• RQ3 深度学习模型在多模态MRI和临床数据上联合学习，能在多大程度上实现患者生存天数的预测？
• RQ4 与标准CNN相比，对抗训练的引入是否能有效减少在小规模医学影像数据集中的过拟合？
• RQ5 所提出的基于cGAN的分割模型能否泛化到未见数据，并在BraTS 2017等基准挑战中实现具有竞争力的性能？

主要发现

• 所提出的基于cGAN的分割模型在BraTS 2017验证数据的整个肿瘤区域上实现了0.68的DICE分数、0.99的敏感度和0.98的特异度。
• 该模型在增强肿瘤（ET）区域表现出极高的敏感度（0.99），表明其对对比增强核心的检测能力极强。
• 在生存天数预测方面，模型在验证集上达到73.1%的准确率，在测试集上达到64.08%的准确率，采用的是具有多模态输入的并行CNN。
• 使用虚拟批量归一化显著提升了生成器在患者特异性MRI数据上的训练稳定性和泛化能力。
• 当训练过程中不打乱输入数据时，模型性能最佳，表明数据中的时间或空间一致性有助于提升性能。
• 偏置场校正和直方图匹配归一化在模型训练前显著提升了图像质量和一致性。