[論文レビュー] Joint Multi-frame Detection and Segmentation for Multi-cell Tracking

Zibin Zhou, Fei Wang+4 more|arXiv (Cornell University)|Jun 26, 2019

Cell Image Analysis Techniques参考文献 12被引用数 4

ひとこと要約

本論文は、多細胞追跡のための共同マルチフレーム検出およびセグメンテーションフレームワークを提案する。マルチフレーム入力を備えたUNetを用いて、分裂細胞の検出を向上させるとともに、二次的なUNetを用いて主なセグメンテーションを実行する。検出とセグメンテーションの結果を統合することで、Fluo-Helaデータセットにおいて最先端の性能を達成し、特にセグメンテーション精度と統合追跡性能で優れた結果を示した。

ABSTRACT

Tracking living cells in video sequence is difficult, because of cell morphology and high similarities between cells. Tracking-by-detection methods are widely used in multi-cell tracking. We perform multi-cell tracking based on the cell centroid detection, and the performance of the detector has high impact on tracking performance. In this paper, UNet is utilized to extract inter-frame and intra-frame spatio-temporal information of cells. Detection performance of cells in mitotic phase is improved by multi-frame input. Good detection results facilitate multi-cell tracking. A mitosis detection algorithm is proposed to detect cell mitosis and the cell lineage is built up. Another UNet is utilized to acquire primary segmentation. Jointly using detection and primary segmentation, cells can be fine segmented in highly dense cell population. Experiments are conducted to evaluate the effectiveness of our method, and results show its state-of-the-art performance.

研究の動機と目的

• 細胞が視覚的に類似しており、しばしば分裂を経験する高密度かつ形態的に多様な細胞集団における多細胞追跡を改善すること。
• 小規模で密に配置された細胞の追跡に課題を提起し、マルチフレームの時間的文脈を活用することで検出のロバスト性を向上させること。
• 検出とセグメンテーションの出力を統合することで、重複または密に近接した細胞を解消する微細なセグメンテーション手法を開発すること。
• 特にセグメンテーションおよび統合追跡精度において、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 細胞の重心検出にマルチフレームUNetを用い、連続する3フレームにわたる空間的・時間的特徴を統合することで、分裂細胞の検出を向上させる。
• 画像シーケンスから初期のインスタンスレベルの細胞マスクを生成するために、別個のUNetを用いて主な細胞セグメンテーションを実行する。
• 改善された重心検出に基づいて細胞分裂イベントを検出するための分裂検出アルゴリズムを適用し、系統追跡を可能にする。
• 追跡の一貫性と空間的近接性を用いて、主な検出とセグメンテーションの出力を統合することで、微細なセグメンテーションを実行する。
• 空間的および時間的事前知識を用いてフレーム間でIDを割り当てるマルチステップトラッカーを通じて、検出とセグメンテーションの結果を統合する。
• 本手法はCell Tracking Benchmarkで訓練および評価され、TRA、SEG、OP CTBなどの指標が用いられた。

実験結果

リサーチクエスチョン

• RQ1 マルチフレーム入力は、高密度な細胞集団における分裂細胞の検出性能を向上させることができるか？
• RQ2 検出とセグメンテーションの共同利用は、極めて混雑したフィールドにおける微細な細胞分離をどのように向上させるか？
• RQ3 マルチフレームUNetによる空間的・時間的モデリングは、単一フレームベースラインと比較して追跡のロバスト性をどの程度向上させるか？
• RQ4 提案手法はFluo-Hela や Phc-PSC のようなベンチマークデータセットで最先端の性能を達成できるか？
• RQ5 主なセグメンテーションの品質が最終的な微細セグメンテーションおよび追跡精度に与える影響は何か？

主な発見

• Fluo-Helaデータセットでは、94.2%のOP CTBと91.9%のSEG精度を達成し、SEGでは1位、OP CTBでは3位という、新たな最先端の性能を記録した。
• Phc-PSCでは95.9%のTRAを達成し、追跡精度で1位を獲得した。これは、高密度な細胞追跡において強力な性能を示している。
• Phc-PSCにおける分裂検出のF1スコアは、単一フレーム時（41.1%）から3フレーム入力時（61.5%）に向上し、時間的文脈の恩恵が顕著に示された。
• Fluo-SIM+およびFluo-GOWT1では性能がやや劣った。これは、低コントラストまたは非常に変動のある画像条件に対処する際の限界を示唆している。
• 微細セグメンテーションは重なった細胞を効果的に解消でき、細胞が部分的に消失したり、背景とコントラストが低くても精度を維持した。
• 特にセグメンテーションおよび統合性能指標において、TUG-AT や BGU-IL といった既存のベースラインを上回った。