[论文解读] Conditional Generative Refinement Adversarial Networks for Unbalanced Medical Image Semantic Segmentation

Mina Rezaei, Haojin Yang+1 more|arXiv (Cornell University)|Oct 9, 2018

AI in cancer detection参考文献 4被引用 22

一句话总结

本文提出了一种条件生成式精炼对抗网络（cG-RAN），通过结合生成网络、判别网络与精炼网络，解决医学图像语义分割中的类别不平衡问题。通过在真实与合成分割结果上联合训练，并显式建模假阳性和假阴性预测，该方法在肝脏病灶、脑肿瘤及显微细胞分割基准上实现了最先进性能，显著提升了敏感性，同时未牺牲精确率。

ABSTRACT

We propose a new generative adversarial architecture to mitigate imbalance data problem in medical image semantic segmentation where the majority of pixels belongs to a healthy region and few belong to lesion or non-health region. A model trained with imbalanced data tends to bias toward healthy data which is not desired in clinical applications and predicted outputs by these networks have high precision and low sensitivity. We propose a new conditional generative refinement network with three components: a generative, a discriminative, and a refinement network to mitigate unbalanced data problem through ensemble learning. The generative network learns to a segment at the pixel level by getting feedback from the discriminative network according to the true positive and true negative maps. On the other hand, the refinement network learns to predict the false positive and the false negative masks produced by the generative network that has significant value, especially in medical application. The final semantic segmentation masks are then composed by the output of the three networks. The proposed architecture shows state-of-the-art results on LiTS-2017 for liver lesion segmentation, and two microscopic cell segmentation datasets MDA231, PhC-HeLa. We have achieved competitive results on BraTS-2017 for brain tumour segmentation.

研究动机与目标

• 解决医学图像语义分割中的类别不平衡问题，其中健康组织占主导地位，而病灶极为稀少。
• 在临床场景中，漏诊病灶代价高昂，因此需提升模型敏感性，同时不降低精确率。
• 开发一种深度学习框架，通过生成器、判别器与精炼网络三者之间的集成学习实现。
• 通过精炼网络显式建模假阳性和假阴性预测，减轻对多数类别的偏差。
• 在多种医学影像任务中实现泛化能力，包括3D CT、MRI及显微细胞图像。

提出的方法

• 生成网络基于2D多模态图像切片生成像素级分割掩码，利用双向LSTM建模切片间的时序依赖性。
• 判别网络通过最小化极大训练目标，区分生成器输出与真实标注掩码的真实性。
• 精炼网络被训练以从生成器输出中预测假阳性和假阴性掩码，从而纠正误分类区域。
• 最终的分割掩码通过结合生成器输出与精炼网络的校正结果生成，同时提升精确率与召回率。
• 采用基于患者的小批量归一化方法以稳定训练，尤其在小样本数据集上，通过归一化同一患者的所有图像实现。
• 模型通过对抗损失与联合损失函数进行端到端训练，其中损失函数强调Dice系数与豪斯多夫距离等分割质量指标。

实验结果

研究问题

• RQ1 带有专用精炼网络的条件生成对抗网络是否能在不降低精确率的前提下，提升不平衡医学图像分割中的敏感性？
• RQ2 在生成器、判别器与精炼网络三者之间的集成学习，如何减轻医学图像分割中对多数类别的偏差？
• RQ3 基于患者的最小批量归一化在有限医学数据集上训练时，对模型性能有何影响？
• RQ4 在包含罕见解剖或病理结构的分割任务中，引入假阳性与假阴性预测头是否显著提升分割质量？
• RQ5 该架构在CT、MRI及显微细胞成像等多样化医学影像任务中，其泛化能力如何？

主要发现

• 在LiTS-2017肝脏病灶分割数据集上，该方法实现了最先进性能，显著优于基线模型的敏感性。
• 在PhC-HeLa显微细胞数据集上，cGAN+Refinement模型的交并比（IoU）达到0.951，优于MISS-GAN（0.943）与U-Net（0.92）。
• 在MDA231数据集上，该方法实现了0.93的IoU与0.92的敏感性，优于U-Net与KTH-SE模型。
• 精炼网络有效降低了假阳性与假阴性率，在MDA231数据集上，FPR与FNR分别降至0.07与0.08。
• 基于患者的最小批量归一化在小样本数据集（如MDA231与PhC-HeLa）上提升了性能，尤其在结合数据增强时效果更显著。
• 在小样本数据集上，训练过程中添加高斯噪声会负面影响结果，但在大规模数据集（如BraTS-2017）上影响甚微。