[论文解读] EmbedTrack -- Simultaneous Cell Segmentation and Tracking Through Learning Offsets and Clustering Bandwidths

Katharina Löffler, Ralf Mikut|arXiv (Cornell University)|Apr 22, 2022

Cell Image Analysis Techniques被引用 4

一句话总结

EmbedTrack 是一个单一的卷积神经网络，通过学习像素到细胞中心的偏移量和可学习的聚类带宽，联合执行细胞分割与跟踪。它在九个2D细胞跟踪基准上达到最先进性能，在七个数据集上排名前三，并在三项中获得第一名。

ABSTRACT

A systematic analysis of the cell behavior requires automated approaches for cell segmentation and tracking. While deep learning has been successfully applied for the task of cell segmentation, there are few approaches for simultaneous cell segmentation and tracking using deep learning. Here, we present EmbedTrack, a single convolutional neural network for simultaneous cell segmentation and tracking which predicts easy to interpret embeddings. As embeddings, offsets of cell pixels to their cell center and bandwidths are learned. We benchmark our approach on nine 2D data sets from the Cell Tracking Challenge, where our approach performs on seven out of nine data sets within the top 3 contestants including three top 1 performances. The source code is publicly available at https://git.scc.kit.edu/kit-loe-ge/embedtrack.

研究动机与目标

• 解决细胞分割与跟踪中端到端深度学习方法的缺乏问题。
• 开发一种避免使用循环网络和复杂级联模型的方法，以提高训练效率和可解释性。
• 通过学习像素到细胞中心的偏移量和自适应聚类带宽，实现人类可理解的嵌入。
• 在细胞数量和运动性各不相同的多样化、具有挑战性的2D活细胞成像数据集上实现高性能。
• 提供一种轻量级、单一模型的解决方案，适用于真实世界生物图像分析，兼具高效与高效。

提出的方法

• 使用基于ERFNet的单一CNN进行训练，采用分支输出头，为每个像素预测两个关键输出：到最近细胞中心的偏移向量和可学习的聚类带宽。
• 利用预测的偏移量引导像素聚类向其对应的细胞中心，实现实例感知的分割。
• 使用学习到的带宽应用聚类算法（例如均值漂移或k-medoids）将像素分组为不同的细胞实例。
• 以端到端方式处理每个图像序列：推理、聚类和跟踪在单次前向传播中完成，无需循环结构。
• 利用偏移量和带宽的几何解释，提升对噪声和细胞重叠的鲁棒性。
• 通过结合偏移回归和带宽预测的多任务损失函数优化网络，实现分割与跟踪的联合优化。

实验结果

研究问题

• RQ1 单一CNN能否学习可解释的嵌入（偏移量和带宽），以实现准确的分割和鲁棒的跟踪？
• RQ2 非循环、端到端模型在多样化2D细胞跟踪数据集上的性能，与级联或循环方法相比如何？
• RQ3 可学习的带宽在细胞密度和运动性各不相同的多个数据集中，能在多大程度上提升聚类的鲁棒性？
• RQ4 该模型能否在不增加架构复杂度的前提下，泛化到高细胞数量和高运动性的数据集？
• RQ5 嵌入的可解释性（即像素到细胞中心的偏移量）是否能增强生物成像中模型的可靠性与可调试性？

主要发现

• EmbedTrack在细胞跟踪挑战赛的九个2D数据集中的三个中获得第一名：BF-C2DL-HSC、BF-C2DL-MuSC 和 Fluo-N2DH-SIM+。
• 在九个数据集中的七个中，EmbedTrack在总体F1分数（OP CTB）上位列前三，表现出强大的泛化能力。
• 该模型在合理推理时间内处理了所有数据集，平均每帧1.9秒，单个序列的总处理时间在约2分钟至约75分钟之间不等。
• 它在高运动性数据集（如BF-C2DL-HSC 和 BF-C2DL-MuSC）上表现优于其他方法，其中最活跃的10%细胞重叠率较低（例如0.388和0.275），表明对细胞运动具有鲁棒性。
• 在高细胞数量数据集（如Fluo-N2DL-HeLa，最后一帧有363个细胞；PhC-C2DL-PSC，有498个细胞）上，该方法在关键指标上保持了前三名的优异表现。
• 通过使用可解释的嵌入（即像素到细胞中心的偏移量和可学习的带宽），实现了无需循环组件的有效聚类，简化了训练与推理过程。