[论文解读] An Auxiliary Task for Learning Nuclei Segmentation in 3D Microscopy Images

P. B. Hirsch, Dagmar Kainmueller|arXiv (Cornell University)|Feb 7, 2020

Cell Image Analysis Techniques参考文献 18被引用 9

一句话总结

本文提出了一项简单的辅助任务——预测每个细胞核质心的方向向量——显著提升了显微镜图像中3D细胞核分割的准确性。当集成到U-Net架构模型中时，该方法在密集细胞核簇聚的挑战性场景下，持续优于基线模型和当前最先进的StarDist-3D模型。

ABSTRACT

Segmentation of cell nuclei in microscopy images is a prevalent necessity in cell biology. Especially for three-dimensional datasets, manual segmentation is prohibitively time-consuming, motivating the need for automated methods. Learning-based methods trained on pixel-wise ground-truth segmentations have been shown to yield state-of-the-art results on 2d benchmark image data of nuclei, yet a respective benchmark is missing for 3d image data. In this work, we perform a comparative evaluation of nuclei segmentation algorithms on a database of manually segmented 3d light microscopy volumes. We propose a novel learning strategy that boosts segmentation accuracy by means of a simple auxiliary task, thereby robustly outperforming each of our baselines. Furthermore, we show that one of our baselines, the popular three-label model, when trained with our proposed auxiliary task, outperforms the recent StarDist-3D. As an additional, practical contribution, we benchmark nuclei segmentation against nuclei detection, i.e. the task of merely pinpointing individual nuclei without generating respective pixel-accurate segmentations. For learning nuclei detection, large 3d training datasets of manually annotated nuclei center points are available. However, the impact on detection accuracy caused by training on such sparse ground truth as opposed to dense pixel-wise ground truth has not yet been quantified. To this end, we compare nuclei detection accuracy yielded by training on dense vs. sparse ground truth. Our results suggest that training on sparse ground truth yields competitive nuclei detection rates.

研究动机与目标

• 为解决缺乏用于细胞核分割的、具有密集像素级真实标签的3D显微镜数据集的问题。
• 提升在密集簇聚场景下3D细胞核实例分割的鲁棒性，因为微小的预测误差会导致严重的分割失败。
• 评估在稀疏质心点标注上进行训练是否能获得与密集分割监督相当的检测性能。
• 证明简单的辅助任务可提升多种当前最先进的分割架构的性能。

提出的方法

• 引入一项新辅助任务：在训练过程中预测每个细胞核质心方向的3D向量。
• 使用联合损失函数，将主分割网络与辅助向量预测头联合训练。
• 采用标准的U-Net架构作为分割主干网络，辅助头从每个像素预测指向其对应细胞核质心的归一化向量。
• 辅助任务与主分割任务端到端联合训练，且不依赖预测向量进行后处理。
• 在包含28张图像的3D显微镜数据集上评估该方法，该数据集具有人工标注的密集像素级标签。
• 对比在稀疏质心点标注和密集像素级标注上训练的模型之间的检测性能。

实验结果

研究问题

• RQ1 简单的辅助任务是否能提升3D细胞核分割模型的泛化能力和准确性？
• RQ2 通过质心向量预测进行训练是否能减少密集堆叠细胞核簇中的分割误差？
• RQ3 在稀疏质心点标注与密集像素级标注上训练的模型，其检测性能有何差异？
• RQ4 所提出的辅助任务是否能在3D细胞核分割中超越更复杂的架构（如StarDist-3D）？

主要发现

• 所提出的辅助任务（cpv）在所有基线模型上均一致提升了分割性能，其中3-label + cpv模型达到最高的平均AP（0.909）。
• 尽管StarDist-3D是一种更复杂的基于提议的方法，3-label + cpv模型在平均AP和多个IoU阈值下仍优于StarDist-3D。
• 在稀疏质心点标注上训练的模型实现了0.895的检测AP，性能与基线分割模型相当，但低于采用辅助任务训练的模型。
• 高斯回归模型的检测性能（0.895 AP）与基线分割模型相当，但被采用cpv辅助任务训练的模型所超越。
• 辅助任务在不依赖预测向量后处理的情况下提升了分割性能，表明训练过程中特征学习能力得到增强。
• 表现最佳的模型（3-label + cpv）在AP0.3下达到0.907，与检测AP高度一致，表明检测与分割性能之间具有强对齐性。