[论文解读] CellTrack R-CNN: A Novel End-To-End Deep Neural Network for Cell Segmentation and Tracking in Microscopy Images

Yuqian Chen, Yang Song+5 more|arXiv (Cornell University)|Feb 20, 2021

Video Surveillance and Tracking Methods参考文献 16被引用 4

一句话总结

CellTrack R-CNN 提出了一种端到端的深度学习框架，通过将孪生网络与Mask R-CNN相结合，统一了显微镜图像中的细胞分割与追踪，利用学习到的相对位置编码提升了追踪性能。该方法在DeepCell基准数据集上实现了最先进性能，检测准确率为97.14%，分割准确率为85.26%，追踪准确率为97.05%。

ABSTRACT

Cell segmentation and tracking in microscopy images are of great significance to new discoveries in biology and medicine. In this study, we propose a novel approach to combine cell segmentation and cell tracking into a unified end-to-end deep learning based framework, where cell detection and segmentation are performed with a current instance segmentation pipeline and cell tracking is implemented by integrating Siamese Network with the pipeline. Besides, tracking performance is improved by incorporating spatial information into the network and fusing spatial and visual prediction. Our approach was evaluated on the DeepCell benchmark dataset. Despite being simple and efficient, our method outperforms state-of-the-art algorithms in terms of both cell segmentation and cell tracking accuracies.

研究动机与目标

• 开发一种端到端的深度学习框架，实现细胞分割与追踪的联合处理，无需后处理。
• 解决在低质量显微镜图像中，细胞外观相似且形状发生形变时的追踪挑战。
• 通过引入邻近细胞的相对位置编码，利用空间上下文信息提升追踪准确率。
• 在DeepCell基准数据集上，与最先进方法相比展示出优越性能。

提出的方法

• 将孪生网络分支集成到Mask R-CNN架构中，实现在连续帧之间端到端的细胞追踪。
• 使用相对位置编码表示空间上下文：目标细胞与其n个最近邻细胞之间的x和y坐标差值。
• 对空间特征向量进行归一化，并在追踪头中与视觉特征融合，以提升实例匹配性能。
• 使用包含两帧的迷你批次进行端到端训练，主干网络采用ResNet-50-FPN，优化器为SGD。
• 在孪生网络中采用权重共享的追踪头，计算连续帧中细胞特征嵌入之间的相似度得分。
• 在推理过程中，通过可学习参数α对视觉特征与空间特征进行加权融合，该参数在验证集上调优为0.1。

实验结果

研究问题

• RQ1 端到端的深度学习框架是否能有效统一显微镜图像中的细胞分割与追踪，而无需后处理？
• RQ2 通过相对位置编码引入空间上下文，是否能提升在具有挑战性的显微镜条件下细胞追踪的性能？
• RQ3 视觉与空间特征的融合是否相比仅依赖视觉特征的方法能带来更高的追踪准确率？
• RQ4 在分割、检测和追踪性能方面，该方法与最先进方法相比表现如何？

主要发现

• CellTrack R-CNN在DeepCell基准数据集上实现了97.14%的检测准确率、85.26%的分割准确率和97.05%的追踪准确率。
• 该方法将检测与追踪准确率之间的差异降低至0.09，表明追踪性能相对于检测的退化极小。
• 消融实验表明，空间追踪头显著提升了追踪性能，当排除空间特征时，D-T（检测-追踪差异）下降了2.74个百分点。
• 通过相对位置编码引入空间信息，使追踪更加鲁棒，尤其在外观高度相似和形状发生形变的情况下表现更优。
• 该框架在所有三项指标——分割、检测和追踪上均优于FR-Ro-GE和DeepCell，展现出最先进性能。
• 该方法保持了简洁与高效，在仅带来少量模型和计算复杂度增加的前提下，实现了卓越性能，相较于标准Mask R-CNN。