[论文解读] Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation

Florian Kromp, Lukas Fischer+6 more|arXiv (Cornell University)|Jul 30, 2019

Cell Image Analysis Techniques参考文献 31被引用 11

一句话总结

本论文评估了最先进的深度学习架构——U-Net、带有ResNet34主干的U-Net以及Mask R-CNN——在多种组织类型和制备方法的免疫荧光显微图像中，实现端到端实例感知的细胞核分割。Mask R-CNN 表现优于其他模型，在无需后处理的情况下实现了高精度和高召回率，尤其在结合合成数据增强和一致标注时表现更佳。

ABSTRACT

Separating and labeling each instance of a nucleus (instance-aware segmentation) is the key challenge in segmenting single cell nuclei on fluorescence microscopy images. Deep Neural Networks can learn the implicit transformation of a nuclear image into a probability map indicating the class membership of each pixel (nucleus or background), but the use of post-processing steps to turn the probability map into a labeled object mask is error-prone. This especially accounts for nuclear images of tissue sections and nuclear images across varying tissue preparations. In this work, we aim to evaluate the performance of state-of-the-art deep learning architectures to segment nuclei in fluorescence images of various tissue origins and sample preparation types without post-processing. We compare architectures that operate on pixel to pixel translation and an architecture that operates on object detection and subsequent locally applied segmentation. In addition, we propose a novel strategy to create artificial images to extend the training set. We evaluate the influence of ground truth annotation quality, image scale and segmentation complexity on segmentation performance. Results show that three out of four deep learning architectures (U-Net, U-Net with ResNet34 backbone, Mask R-CNN) can segment fluorescent nuclear images on most of the sample preparation types and tissue origins with satisfactory segmentation performance. Mask R-CNN, an architecture designed to address instance aware segmentation tasks, outperforms other architectures. Equal nuclear mean size, consistent nuclear annotations and the use of artificially generated images result in overall acceptable precision and recall across different tissues and sample preparation types.

研究动机与目标

• 解决在不同组织来源和制备方案下，准确实现细胞核实例感知分割的挑战。
• 通过训练深度学习模型直接从原始图像预测带标签的对象掩码，消除易出错的后处理步骤。
• 研究标注质量、图像尺度和分割复杂度对模型性能的影响。
• 开发并验证一种基于人工图像生成的新数据增强策略，以提升模型的泛化能力和鲁棒性。

提出的方法

• 训练并比较了三种深度学习架构：U-Net、带有ResNet34主干的U-Net以及Mask R-CNN，用于像素级分割和实例感知预测。
• 采用一种基于合成图像生成的新颖数据增强策略，扩展训练数据集并提升模型泛化能力。
• 使用来自多种组织类型和样本制备方法的真实标注数据，评估模型在多样化生物学背景下的鲁棒性。
• 评估模型在无需后处理步骤的情况下，预测精确核边界和独立实例标签的能力。
• 应用一致的核大小归一化和标注质量控制，以减少性能评估中的变异性。
• 使用精确率、召回率和平均Dice系数等指标，对不同数据集上的分割性能进行定量评估。

实验结果

研究问题

• RQ1 深度学习架构是否能在无需后处理的情况下，对多种组织类型和制备方法的免疫荧光图像实现高精度、实例感知的核分割？
• RQ2 真实标注的质量如何影响不同架构下的分割性能？
• RQ3 图像尺度和分割复杂度在多大程度上影响深度学习模型在核分割中的泛化能力？
• RQ4 使用人工生成的训练图像是否能提升模型在未见组织制备方案下的鲁棒性和性能？
• RQ5 在不同生物样本中，U-Net、带有ResNet34主干的U-Net或Mask R-CNN中，哪一种架构能提供最一致且准确的结果？

主要发现

• Mask R-CNN 在所有组织类型和制备方法中均实现了最高的分割性能，优于U-Net和带有ResNet34主干的U-Net。
• 在评估的四种架构中，有三种（U-Net、带有ResNet34主干的U-Net和Mask R-CNN）在无需后处理步骤的情况下均产生了令人满意的结果。
• 核平均尺寸一致和标注质量一致显著提升了在多样化数据集上的精确率和召回率。
• 使用人工生成的图像显著增强了模型的泛化能力，尤其在数据量较少的场景和罕见组织类型中表现更优。
• 分割性能对标注质量高度敏感，噪声或不一致的标签会降低模型准确性。
• 图像尺度和分割复杂度对模型性能有明显影响，尤其对基于U-Net的模型而言，其在高复杂度和大规模变化下表现困难。