[论文解读] Cell Tracking via Proposal Generation and Selection

Saad Ullah Akram, Juho Kannala+2 more|arXiv (Cornell University)|May 9, 2017

Cell Image Analysis Techniques参考文献 36被引用 24

一句话总结

该论文提出了一种基于深度学习的细胞追踪方法，通过生成细胞候选区域并利用图模型联合选择最优的细胞和边候选区域，实现检测与追踪的联合优化。该方法在无需人工调参的情况下，在多种荧光显微镜和相位对比显微镜序列上均实现了最先进性能，在ISBI挑战数据集上的表现优于现有方法。

ABSTRACT

Microscopy imaging plays a vital role in understanding many biological processes in development and disease. The recent advances in automation of microscopes and development of methods and markers for live cell imaging has led to rapid growth in the amount of image data being captured. To efficiently and reliably extract useful insights from these captured sequences, automated cell tracking is essential. This is a challenging problem due to large variation in the appearance and shapes of cells depending on many factors including imaging methodology, biological characteristics of cells, cell matrix composition, labeling methodology, etc. Often cell tracking methods require a sequence-specific segmentation method and manual tuning of many tracking parameters, which limits their applicability to sequences other than those they are designed for. In this paper, we propose 1) a deep learning based cell proposal method, which proposes candidates for cells along with their scores, and 2) a cell tracking method, which links proposals in adjacent frames in a graphical model using edges representing different cellular events and poses joint cell detection and tracking as the selection of a subset of cell and edge proposals. Our method is completely automated and given enough training data can be applied to a wide variety of microscopy sequences. We evaluate our method on multiple fluorescence and phase contrast microscopy sequences containing cells of various shapes and appearances from ISBI cell tracking challenge, and show that our method outperforms existing cell tracking methods. Code is available at: https://github.com/SaadUllahAkram/CellTracker

研究动机与目标

• 解决不同显微镜模态和生物样本中细胞外观与形态高度多变的挑战。
• 开发一种完全自动化的细胞追踪方法，避免人工参数调优，并适用于多种图像序列。
• 通过在图模型框架中联合建模检测与追踪并进行候选区域选择，提升追踪精度。
• 降低对序列特定的分割与追踪参数的依赖，增强在不同数据集间的泛化能力。

提出的方法

• 使用基于深度学习的网络生成带有置信度分数的细胞候选区域，以表示模糊区域的多种假设。
• 构建一个追踪图，其中节点为细胞候选区域，边表示相邻帧之间的细胞事件（如分裂、运动、死亡）。
• 应用整数线性规划（ILP）选择最优的细胞和边候选区域子集，以形成一致且时间连贯的细胞轨迹。
• 引入有丝分裂检测器作为专用组件以处理细胞分裂事件，但其泛化能力受限，被视为一个局限性。
• 可选地使用光流或互相关匹配以改进运动建模，但未集成到核心方法中。
• 采用带有全连接层的掩码预测头，但该设计限制了分辨率，导致大细胞的掩码较为粗糙。

实验结果

研究问题

• RQ1 基于候选区域的联合检测与追踪框架是否能在无需人工调参的情况下，在多种显微镜序列上超越现有方法？
• RQ2 候选区域生成在处理低对比度、高密度或形态多变的模糊细胞区域时是否有效？
• RQ3 在图模型中引入边候选区域在多大程度上提升了追踪的鲁棒性与准确性？
• RQ4 该方法在不同细胞类型和成像模态（包括相位对比和荧光显微镜）之间的泛化能力如何？

主要发现

• 所提方法在多个ISBI细胞追踪挑战序列上实现了最先进性能，涵盖荧光显微镜和相位对比显微镜数据集。
• 在F1分数、精确率和召回率方面优于现有方法，尤其在小细胞、长形细胞或染色不佳的挑战性序列上表现更优。
• 仅使用少量细胞候选区域即可实现高召回率，显著减少了追踪图中的移动和有丝分裂边数量，从而实现快速优化（约17.5万个细胞的序列仅需几分钟）。
• 候选网络生成的置信度分数高度准确，即使在模糊区域也能有效筛选出高质量候选。
• 由于过度分割错误仍是主要瓶颈，尤其在小细胞和长形细胞中，表明此类情况下候选区域生成仍需改进。
• 当前掩码预测因全连接层导致分辨率较低，通过特征融合提升掩码分辨率有望进一步提升性能。