[论文解读] Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning

Arnab Kumar Mondal, José Dolz+1 more|arXiv (Cornell University)|Oct 29, 2018

Advanced Neural Network Applications参考文献 10被引用 121

一句话总结

本文提出了一种基于半监督 GAN 的方法，用于进行少样本的三维多模态脑MRI分割，通过使用未标记数据和一个生成器，在仅有少量标注受试者的情况下实现接近全监督的性能。

ABSTRACT

We address the problem of segmenting 3D multi-modal medical images in scenarios where very few labeled examples are available for training. Leveraging the recent success of adversarial learning for semi-supervised segmentation, we propose a novel method based on Generative Adversarial Networks (GANs) to train a segmentation model with both labeled and unlabeled images. The proposed method prevents over-fitting by learning to discriminate between true and fake patches obtained by a generator network. Our work extends current adversarial learning approaches, which focus on 2D single-modality images, to the more challenging context of 3D volumes of multiple modalities. The proposed method is evaluated on the problem of segmenting brain MRI from the iSEG-2017 and MRBrainS 2013 datasets. Significant performance improvement is reported, compared to state-of-art segmentation networks trained in a fully-supervised manner. In addition, our work presents a comprehensive analysis of different GAN architectures for semi-supervised segmentation, showing recent techniques like feature matching to yield a higher performance than conventional adversarial training approaches. Our code is publicly available at https://github.com/arnab39/FewShot_GAN-Unet3D

研究动机与目标

• 解决在极少量标注样本的情况下对三维多模态医学影像的分割。
• 利用对抗学习来使用未标记和合成的补丁以防止过拟合。
• 评估不同的 GAN 架构（包括特征匹配）在三维半监督分割中的效果。
• 在脑MRI数据集（iSEG-2017 和 MRBrainS 2013）上展示性能提升。

提出的方法

• 通过基于 GAN 的框架扩展分割网络以处理标注、未标注和伪样本。
• 使用一个具有 (K+1) 输出的判别器，其中第 (K+1) 类对应于伪样本；通过重新参数化来获得有效的 K 个输出。
• 训练时使用三种损失：L_labeled（标注数据上的标准交叉熵），L_unlabeled（促使未标注数据产生逼真的输出），L_fake（促使生成器产生逼真但多样的伪样本）。
• 采用一个基于 3D 补丁设计的生成器和一个将生成的补丁映射回潜在噪声的编码器，使得可用 Feature Matching (FM) 损失实现稳定训练。
• 实现一个互补（坏的）生成器变体以研究分布覆盖和基于熵的增强；将 FM GAN 与该变体进行比较。
• 将 3D U-Net 用作判别器，并进行适合 GAN 训练的结构调整（权重归一化、leaky ReLU、平均池化）。
• 将 3D 体积处理为 32x32x32 的补丁以管理内存，在半监督 regime 下端到端训练。
• 使用 N4 偏置场校正和强度归一化对数据进行预处理；使用 Adam（lr=1e-4）和批量大小 30 进行训练。

实验结果

研究问题

• RQ1 基于 GAN 的半监督学习是否能够在极少量标注受试者的情况下实现准确的三维多模态脑MRI分割？
• RQ2 将未标记数据和生成器纳入是否能提升泛化并降低在有限数据下的过拟合，相较于全监督训练？
• RQ3 不同的 GAN 变体（标准对抗、特征匹配、互补/坏生成器）在三维多模态设置下如何影响分割性能？
• RQ4 FM GAN 是否优于 bad-GAN 用于半监督的三维医学影像分割？
• RQ5 所提出的方法是否在跨数据集上具有泛化能力（iSEG-2017 婴儿脑 MRI 和 MRBrainS 2013 成人脑 MRI）？

主要发现

• FM GAN 在少样本场景（1–2 个标注示例）显著优于基本的 U-Net。
• 特征匹配（FM GAN）在所测试的 GAN 变体中产生了最佳的分割性能。
• 当使用足够的未标记数据时，FM GAN 的结果接近全监督，在若干设置中优于标准的有监督 U-Net。
• 在 iSEG-2017 和 MRBrains 2013 上，该方法相比基线提升 Dice 分数并降低表面距离指标，表明跨数据集的适用性。
• 互补（坏）生成器在该任务中不如 FM GAN 有效，尽管它提供了对分布覆盖和训练稳定性的见解。