[论文解读] Joint Multi-frame Detection and Segmentation for Multi-cell Tracking

Zibin Zhou, Fei Wang+4 more|arXiv (Cornell University)|Jun 26, 2019

Cell Image Analysis Techniques参考文献 12被引用 4

一句话总结

本文提出了一种用于多细胞追踪的联合多帧检测与分割框架，通过使用多帧输入的UNet增强有丝分裂细胞检测，并采用第二个UNet进行主要分割。通过融合检测与分割结果，该方法在Fluo-Hela数据集上实现了最先进性能，尤其在分割准确率和综合追踪性能方面表现突出。

ABSTRACT

Tracking living cells in video sequence is difficult, because of cell morphology and high similarities between cells. Tracking-by-detection methods are widely used in multi-cell tracking. We perform multi-cell tracking based on the cell centroid detection, and the performance of the detector has high impact on tracking performance. In this paper, UNet is utilized to extract inter-frame and intra-frame spatio-temporal information of cells. Detection performance of cells in mitotic phase is improved by multi-frame input. Good detection results facilitate multi-cell tracking. A mitosis detection algorithm is proposed to detect cell mitosis and the cell lineage is built up. Another UNet is utilized to acquire primary segmentation. Jointly using detection and primary segmentation, cells can be fine segmented in highly dense cell population. Experiments are conducted to evaluate the effectiveness of our method, and results show its state-of-the-art performance.

研究动机与目标

• 提升在高度密集且形态多变的细胞群体中进行多细胞追踪的性能，其中细胞在视觉上相似且常发生有丝分裂。
• 通过利用多帧时间上下文增强检测鲁棒性，解决小而密集排列细胞的追踪挑战。
• 开发一种精细分割方法，结合检测与分割输出，以解决重叠或紧密排列细胞的分离问题。
• 在基准数据集上实现最先进性能，尤其在分割和综合追踪准确率方面。

提出的方法

• 使用多帧UNet进行细胞中心点检测，通过融合连续三帧的时空特征，提升有丝分裂细胞的检测性能。
• 采用独立的UNet进行主要细胞分割，从图像序列中生成初始实例级细胞掩码。
• 应用有丝分裂检测算法，基于改进的中心点检测结果识别细胞分裂事件，实现谱系追踪。
• 通过结合主要检测与分割输出执行精细分割，利用追踪一致性与空间邻近性解决个体细胞的分离。
• 通过多步骤追踪器将检测与分割结果进行融合，利用空间与时间先验在不同帧间分配身份。
• 该方法在Cell Tracking Benchmark上进行训练与评估，使用TRA、SEG和OP CTB等指标。

实验结果

研究问题

• RQ1 多帧输入能否提升在密集细胞群体中有丝分裂细胞的检测性能？
• RQ2 检测与分割的联合使用在高度拥挤视野中如何提升细粒度细胞分离能力？
• RQ3 与单帧基线相比，通过多帧UNet实现的时空建模在多大程度上提升了追踪鲁棒性？
• RQ4 所提方法能否在Fluo-Hela和Phc-PSC等基准数据集上实现最先进性能？
• RQ5 主要分割质量对最终精细分割与追踪准确率有何影响？

主要发现

• 在Fluo-Hela数据集上，该方法实现了新的最先进性能，OP CTB达到94.2%，SEG准确率达到91.9%，SEG排名首位，OP CTB排名第三。
• 在Phc-PSC上，TRA达到95.9%，追踪准确率排名第一，表明在具有挑战性的密集细胞追踪任务中表现优异。
• 在Phc-PSC上，有丝分裂检测F1分数从单帧的41.1%提升至三帧输入的61.5%，表明时间上下文带来显著优势。
• 在Fluo-SIM+和Fluo-GOWT1上性能较不理想，表明在低对比度或高度可变成像条件下存在局限性。
• 精细分割能有效解决细胞重叠问题，并在细胞部分消失或与背景对比度较低时仍保持准确率。
• 该方法优于TUG-AT和BGU-IL等成熟基线模型，尤其在分割与综合性能指标方面表现更优。