[論文レビュー] Large-Scale Multi-Hypotheses Cell Tracking Using Ultrametric Contours Maps

Jordão Bragantini, Merlin Lange+1 more|arXiv (Cornell University)|Aug 8, 2023

Immunotherapy and Immune Responses被引用数 4

ひとこと要約

本論文は、超距離輪郭マップ（UCMs）と新しい整数線形プログラミング（ILP）定式化を用いて、セグメンテーションとトラッキングを統合的に最適化するスケーラブルな大規模3Dセルトラッキング手法を提案する。階層的セグメンテーション仮説を活用し、隣接フレーム間の重複を最大化することで、セルトラッキングチャレンジで最先端の性能を達成し、2100万以上のセルインスタンスを含むテラバイトスケールのデータセットにもスケーリング可能である。従来のILPベースの手法に比べて高速かつ効率的であり、ディープラーニングおよび従来のセグメンテーションモデルの両方をサポートする。

ABSTRACT

In this work, we describe a method for large-scale 3D cell-tracking through a segmentation selection approach. The proposed method is effective at tracking cells across large microscopy datasets on two fronts: (i) It can solve problems containing millions of segmentation instances in terabyte-scale 3D+t datasets; (ii) It achieves competitive results with or without deep learning, which requires 3D annotated data, that is scarce in the fluorescence microscopy field. The proposed method computes cell tracks and segments using a hierarchy of segmentation hypotheses and selects disjoint segments by maximizing the overlap between adjacent frames. We show that this method achieves state-of-the-art results in 3D images from the cell tracking challenge and has a faster integer linear programming formulation. Moreover, our framework is flexible and supports segmentations from off-the-shelf cell segmentation models and can combine them into an ensemble that improves tracking. The code is available https://github.com/royerlab/ultrack.

研究の動機と目的

• テラバイトスケールの時間分解能のある顕微鏡データセット（数百万のセグメンテーションインスタンスを含む）における大規模3Dセルトラッキングの課題に対処すること。
• 高品質な3Dアノテーションデータに依存しにくく、蛍光顕微鏡では希少であるため、セグメンテーションとトラッキングを統合したフレームワークを開発すること。
• 生物学的制約（例：細胞の2分割）を組み込んだ計算効率の良いILP定式化を用いて、大規模データセットのメモリオーバー処理を効率的に行えるようにすること。
• ディープラーニングおよび従来のセグメンテーションモデルを含む複数のモデルをアンサンブルとして統合し、トラッキングのロバスト性を向上させること。
• 高品質なアノテーションデータを多く必要とせず、高いセグメンテーション品質とトラッキング精度を維持できる柔軟でスケーラブルなソリューションを提供すること。

提案手法

• 超距離輪郭マップ（UCMs）を用いて、複数スケールにわたるネストされたセグメンテーション仮説の階層を構築する。
• 隣接フレーム間の重複を最大化するとともに、細胞が2つに分裂するなどの生物学的制約を満たすように、離散的セグメントの選択を整数線形計画問題（ILP）として定式化する。
• 問題サイズに比例して部分線形にスケーリングする、より高速な新規定式化を用いてILPを最適化し、実行時間と時間窓サイズの関係の勾配が1.37 ± 0.06である。
• 市販のセグメンテーションモデル（例：U-Net）の統合を可能とし、UCMベースの融合によりそれらの出力をアンサンブル化する。
• コンピュータクラスタ上でSLURMを用いて分散処理・外部主記憶処理を実施し、791×448×2174×2423ボクセルの3.4TBのデータセットを処理可能である。
• 2パストラッキング戦略を採用：1回目のパスで初期トラック割り当て、2回目のパスで最適化。GPUアクセラレーションを用いたホイール検出と、スケーラビリティを確保するCPUベース処理を併用。

Figure 1 : Example of hierarchy filtering by minimum size, maximum size, and contour strength; dashed lines show deleted elements. Leaves of the hierarchy are not shown.

実験結果

リサーチクエスチョン

• RQ1 階層的UCMsに基づく統合的セグメンテーションとトラッキングフレームワークは、高価な3Dアノテーションに依存せずに、大規模3D顕微鏡データセットで最先端の性能を達成できるか？
• RQ2 時間窓サイズが増大するに従って、本手法のILP定式化は、従来のILPベースのトラッキング手法に比べて、効率性とスケーラビリティに優れているか？
• RQ3 UCM空間におけるアンサンブル統合により、ディープラーニングおよび従来手法を含む多様なセグメンテーションモデルをどれだけ活用できるか？
• RQ4 2000万以上のセルインスタンスを含む実世界のテラバイトスケールの3D+tデータセットに、高い正確性と計算上の実行可能性を維持したままスケーリングできるか？
• RQ5 UCMsの使用により、複雑で密集したセルトラッキング状況において、標準的な離散ラベルセグメンテーションに比べ、より高いロバスト性と柔軟性を実現できるか？

主な発見

• 本手法は、セルトラッキングチャレンジベンチマークの4つのデータセットのうち2つで最先端の性能を達成し、多様な生物学的データセットにわたる強力な一般化能力を示した。
• 提案されたILP定式化は、時間窓サイズ1単位あたりの実行時間勾配が1.37 ± 0.06であり、Türetkenら（1.75 ± 0.12）およびMalin-Mayorら（1.84 ± 0.06）を顕著に上回り、優れたスケーラビリティを示した。
• 2150万個のセルインスタンスを含む3.4TBのゼブラフィッシュ胚データセットを処理し、100CPUコアと20GPUを用いた分散コンピューティングで約9.5時間でトラッキングを完了した。
• 高品質なセグメンテーションとトラッキング結果が得られ、最大強度投影、YXおよびZY平面におけるスライスワイドのセグメンテーションと、正確な3Dレンダリングの可視化が可能であった。
• U-Netを疑似ラベルから学習させたウォーターシェドセグメンテーションから得たラベルで訓練したモデルを含む、複数のセグメンテーションモデルを統合し、UCMベースのアンサンブルとして統合した。
• セグメンテーションとトラッキングを統合的に最適化することで、高品質な3Dアノテーションデータに依存する必要を減らし、アノテーションデータが不足する状況でも性能が向上した。

Figure 2 : Example of linkage between two hierarchies and their weights matrix $w_{..}$ which includes all $w_{p,q}$ . Solution considering $w_{..}$ in blue and in red solution of $w^{p}_{..}$ when $p>=2$ .