[论文解读] Fluorescence Microscopy Image Segmentation Using Convolutional Neural Network With Generative Adversarial Networks.

Chichen Fu, Soonam Lee+5 more|arXiv (Cornell University)|Jan 22, 2018

AI in cancer detection参考文献 23被引用 3

一句话总结

本文提出一种基于3D卷积神经网络（CNN）的3D细胞核分割方法，该方法在由生成对抗网络（GAN）生成的合成数据上进行训练，克服了荧光显微镜体积标注数据有限的挑战。该方法在无需大量人工标注的情况下，可在多种数据集上实现稳健的分割。

ABSTRACT

Recent advance in fluorescence microscopy enables acquisition of 3D image volumes with better quality and deeper penetration into tissue. Segmentation is a required step to characterize and analyze biological structures in the images. 3D segmentation using deep learning has achieved promising results in microscopy images. One issue is that deep learning techniques require a large set of groundtruth data which is impractical to annotate manually for microscopy volumes. This paper describes a 3D nuclei segmentation method using 3D convolutional neural networks. A set of synthetic volumes and the corresponding groundtruth volumes are generated automatically using a generative adversarial network. Segmentation results demonstrate that our proposed method is capable of segmenting nuclei successfully in 3D for various data sets.

研究动机与目标

• 解决用于训练深度学习模型的标注3D荧光显微镜体积数据稀缺的问题。
• 开发一种减少对耗时的3D细胞核分割真实标注依赖的方法。
• 使用GAN生成逼真的3D显微镜图像体积及其对应的真值分割掩码，用于训练深度学习模型。
• 评估在合成数据上训练的3D CNN在多种生物数据集上的细胞核分割性能。

提出的方法

• 使用3D卷积神经网络（CNN）对3D荧光显微镜图像进行细胞核分割。
• 使用生成对抗网络（GAN）自动生成合成3D显微镜图像体积及其对应的真值分割掩码。
• GAN被训练以生成在外观和结构复杂性上与真实荧光显微镜数据相似的逼真3D图像体积。
• 使用合成数据对3D CNN进行预训练或微调，以减少对真实标注数据的依赖。
• 训练过程利用对抗损失，以提高生成图像的真实感和分割的一致性。
• 在多个真实3D显微镜数据集上评估该方法，以评估其泛化能力和分割准确性。

实验结果

研究问题

• RQ1 GAN生成的合成数据集能否有效训练3D CNN以实现荧光显微镜中的细胞核分割？
• RQ2 在合成数据上训练的3D CNN的性能与在真实标注数据上训练的模型相比如何？
• RQ3 合成数据在多大程度上能泛化到不同的生物样本和成像条件下？
• RQ4 使用GAN生成的数据是否能显著减少人工标注需求，同时保持分割准确性？

主要发现

• 所提出的方法在无需对训练数据进行人工标注的情况下，成功实现了在多个数据集上的3D荧光显微镜图像细胞核分割。
• 使用GAN生成的合成数据可有效训练3D CNN，实现高精度的分割。
• 该模型对多种生物样本具有良好的泛化能力，表现出对成像条件变化的鲁棒性。
• 该方法显著降低了对大规模人工标注的依赖，而人工标注是3D显微镜分析中的主要瓶颈。