[论文解读] Large-Scale Multi-Hypotheses Cell Tracking Using Ultrametric Contours Maps

Jordão Bragantini, Merlin Lange+1 more|arXiv (Cornell University)|Aug 8, 2023

Immunotherapy and Immune Responses被引用 4

一句话总结

本文提出了一种可扩展的大规模3D细胞追踪方法，通过超距轮廓图（UCMs）和一种新颖的整数线性规划（ILP）公式，联合优化分割与追踪。通过利用分层分割假设并最大化相邻帧之间的重叠，该方法在细胞追踪挑战赛中实现了最先进性能，并可扩展至TB级数据集，处理超过2100万个细胞实例，相比以往基于ILP的方法在速度和效率上表现更优，同时支持深度学习与传统分割模型。

ABSTRACT

In this work, we describe a method for large-scale 3D cell-tracking through a segmentation selection approach. The proposed method is effective at tracking cells across large microscopy datasets on two fronts: (i) It can solve problems containing millions of segmentation instances in terabyte-scale 3D+t datasets; (ii) It achieves competitive results with or without deep learning, which requires 3D annotated data, that is scarce in the fluorescence microscopy field. The proposed method computes cell tracks and segments using a hierarchy of segmentation hypotheses and selects disjoint segments by maximizing the overlap between adjacent frames. We show that this method achieves state-of-the-art results in 3D images from the cell tracking challenge and has a faster integer linear programming formulation. Moreover, our framework is flexible and supports segmentations from off-the-shelf cell segmentation models and can combine them into an ensemble that improves tracking. The code is available https://github.com/royerlab/ultrack.

研究动机与目标

• 解决在包含数百万个分割实例的TB级时间序列显微镜数据中进行大规模3D细胞追踪的挑战。
• 开发一种联合分割与追踪的框架，以减少对荧光显微镜中稀缺的高质量3D标注数据的依赖。
• 通过使用计算高效的ILP公式并引入生物约束（如细胞分裂为两个），实现出内存外的大规模数据高效处理。
• 支持将多种分割模型——包括深度学习和传统方法——整合到集成模型中，以提高追踪的鲁棒性。
• 提供一种灵活且可扩展的解决方案，在无需大量真实标注数据的情况下，保持高分割质量和追踪准确性。

提出的方法

• 该方法利用超距轮廓图（UCMs）构建分割假设的分层结构，表示跨多个尺度的嵌套分割。
• 将跨帧选择不相交片段的问题表述为整数线性规划（ILP），在最大化相邻帧重叠的同时，强制执行生物约束（如细胞分裂为两个）。
• 采用一种新颖的、更快的ILP公式，其运行时间与问题规模呈亚线性关系，运行时间与时间窗口大小的斜率为1.37 ± 0.06。
• 该框架支持集成现成的分割模型（如U-Net），并通过基于UCM的融合方法将它们的输出整合为一个集成。
• 算法采用分布式、内存外的方式处理数据，使用SLURM在计算集群上运行，可处理3.4 TB、尺寸为791×448×2174×2423体素的大型数据集。
• 采用双阶段追踪策略：第一阶段进行初始轨迹分配，第二阶段进行优化，其中轮廓检测使用GPU加速，其余处理则基于CPU以实现可扩展性。

Figure 1 : Example of hierarchy filtering by minimum size, maximum size, and contour strength; dashed lines show deleted elements. Leaves of the hierarchy are not shown.

实验结果

研究问题

• RQ1 基于分层UCMs的联合分割与追踪框架是否能在不依赖昂贵3D标注数据的情况下，在大规模3D显微镜数据集中实现最先进性能？
• RQ2 当处理不断扩大的时间窗口时，所提出的ILP公式在效率和可扩展性方面与现有基于ILP的追踪方法相比如何？
• RQ3 该方法在UCM空间中通过集成融合，能在多大程度上利用多样化的分割模型（包括深度学习与传统方法）？
• RQ4 该方法是否能够扩展至真实世界的TB级3D+t数据集（包含超过2000万个细胞实例），同时保持高精度和计算可行性？
• RQ5 与标准离散标签分割相比，UCMs的使用是否能在复杂、密集的细胞追踪场景中提供更好的鲁棒性与灵活性？

主要发现

• 该方法在细胞追踪挑战赛的四个数据集中的两个实现了最先进性能，表明其在多样化生物数据集上具有强大的泛化能力。
• 所提出的ILP公式每单位时间窗口的运行时间斜率为1.37 ± 0.06，显著优于Türetken等人（1.75 ± 0.12）和Malin-Mayor等人（1.84 ± 0.06），表明其具有更优的可扩展性。
• 该方法成功处理了3.4 TB的斑马鱼胚胎数据集，包含2150万个细胞实例，仅用100个CPU核心和20个GPU在约9.5小时内完成追踪。
• 该算法实现了高质量的分割与追踪结果，可视化结果显示了准确的3D渲染效果以及在最大强度投影、YX和ZY平面上的逐切片分割。
• 该框架通过将多种分割模型（包括在分水岭分割伪标签上训练的U-Net）集成到统一的基于UCM的集成中，展示了出色的鲁棒性。
• 通过联合优化分割与追踪，该方法显著降低了对高质量3D标注数据的依赖，即使在缺乏真实标注数据的情况下，性能仍得到提升。

Figure 2 : Example of linkage between two hierarchies and their weights matrix $w_{..}$ which includes all $w_{p,q}$ . Solution considering $w_{..}$ in blue and in red solution of $w^{p}_{..}$ when $p>=2$ .