[论文解读] Joint Cell Nuclei Detection and Segmentation in Microscopy Images Using 3D Convolutional Networks

Sundaresh Ram, Vicky T. Nguyen+2 more|arXiv (Cornell University)|May 8, 2018

AI in cancer detection参考文献 12被引用 6

一句话总结

该论文提出一种3D卷积神经网络，通过先分割细胞体再识别其中心，联合检测和分割共聚焦显微镜图像中的细胞核。在小鼠唾液腺数据集上端到端训练，该方法在检测和分割精度方面优于当前最先进方法，且通过推理时丢弃法获得的不确定性估计与预测精度密切相关。

ABSTRACT

We propose a 3D convolutional neural network to simultaneously segment and detect cell nuclei in confocal microscopy images. Mirroring the co-dependency of these tasks, our proposed model consists of two serial components: the first part computes a segmentation of cell bodies, while the second module identifies the centers of these cells. Our model is trained end-to-end from scratch on a mouse parotid salivary gland stem cell nuclei dataset comprising 107 image stacks from three independent cell preparations, each containing several hundred individual cell nuclei in 3D. In our experiments, we conduct a thorough evaluation of both detection accuracy and segmentation quality, on two different datasets. The results show that the proposed method provides significantly improved detection and segmentation accuracy compared to state-of-the-art and benchmark algorithms. Finally, we use a previously described test-time drop-out strategy to obtain uncertainty estimates on our predictions and validate these estimates by demonstrating that they are strongly correlated with accuracy.

研究动机与目标

• 解决3D共聚焦显微镜图像中细胞核检测与分割之间的相互依赖性问题。
• 开发一种统一的深度学习框架，同时比现有方法更准确地完成这两项任务。
• 在小鼠腮腺干细胞核的3D数据集上从零开始端到端训练模型。
• 在两个独立数据集上评估模型在检测和分割质量方面的性能。
• 引入推理时丢弃法进行不确定性估计，并验证其与预测准确性的相关性。

提出的方法

• 该模型采用两阶段3D U-Net类似架构：第一阶段对细胞核进行3D语义分割。
• 第二阶段使用回归头从分割特征中预测中心点，实现细胞中心检测。
• 通过联合损失函数端到端训练网络，同时优化分割和中心检测目标。
• 在推理时应用丢弃法，为每个预测生成预测不确定性估计。
• 通过证明不确定性估计与实际预测准确性的强相关性，验证其可靠性。
• 模型在来自三个独立制备的107个图像堆栈上进行训练，每个堆栈包含数百个3D细胞核。

实验结果

研究问题

• RQ1 单一3D卷积网络能否有效实现共聚焦显微镜图像中细胞核的联合检测与分割？
• RQ2 所提出的端到端训练策略在检测和分割精度方面，相较于现有两阶段或独立方法有何优势？
• RQ3 推理时丢弃法能否提供与细胞核分析中预测可靠性相关联的有意义不确定性估计？
• RQ4 该模型在不同成像条件和细胞密度的数据集之间是否具有良好的泛化能力？
• RQ5 架构设计——特别是串行分割与中心检测——对整体性能有何影响？

主要发现

• 在两个独立数据集上，该方法在检测和分割精度方面显著优于当前最先进和基准算法。
• 通过推理时丢弃法获得的模型不确定性估计与实际预测准确性呈强相关性，验证了其可靠性。
• 在小鼠腮腺干细胞核的3D数据集上从零开始端到端训练，无需预训练即可获得稳健性能。
• 联合架构有效捕捉了分割与检测之间的相互依赖性，相比解耦方法取得了更准确的结果。
• 该模型在不同图像堆栈和生物制备样本间具有良好的泛化能力，在多样化的3D显微镜数据上表现出一致的性能。