[論文レビュー] EmbedTrack -- Simultaneous Cell Segmentation and Tracking Through Learning Offsets and Clustering Bandwidths

Katharina Löffler, Ralf Mikut|arXiv (Cornell University)|Apr 22, 2022

Cell Image Analysis Techniques被引用数 4

ひとこと要約

EmbedTrack は、細胞中心へのピクセル単位のオフセットと学習可能クラスタリング帯域幅を学習することで、一度の畳み込みニューラルネットワークで細胞のセグメンテーションとトラッキングを同時に実行する手法である。9つの2次元細胞トラッキングベンチマークで最先端の性能を達成し、7つのデータセットで上位3位以内にランクされ、3つの首位を獲得した。

ABSTRACT

A systematic analysis of the cell behavior requires automated approaches for cell segmentation and tracking. While deep learning has been successfully applied for the task of cell segmentation, there are few approaches for simultaneous cell segmentation and tracking using deep learning. Here, we present EmbedTrack, a single convolutional neural network for simultaneous cell segmentation and tracking which predicts easy to interpret embeddings. As embeddings, offsets of cell pixels to their cell center and bandwidths are learned. We benchmark our approach on nine 2D data sets from the Cell Tracking Challenge, where our approach performs on seven out of nine data sets within the top 3 contestants including three top 1 performances. The source code is publicly available at https://git.scc.kit.edu/kit-loe-ge/embedtrack.

研究の動機と目的

• 同時細胞セグメンテーションとトラッキングのためのエンドツーエンドのディープラーニング手法の不足に対処する。
• 再帰的ネットワークや複雑な段階的モデルを回避することで、トレーニング効率と解釈可能性を向上させる手法を開発する。
• 細胞中心へのピクセルオフセットと適応的クラスタリング帯域幅を学習することで、人間が理解可能な埋め込みを実現する。
• 細胞数や移動度が異なる多様な2次元ライブセルイメージングデータセットにおいて高い性能を発揮する。
• 実世界の生物学的画像解析に適した、軽量で単一モデルのソリューションを提供する。

提案手法

• ERFNetをベースにした単一のCNNを、分岐ヘッドを備えてトレーニングし、各ピクセルに対して2つの主要な出力を予測する：最近接する細胞中心へのオフセットベクトルと、学習可能なクラスタリング帯域幅。
• 予測されたオフセットを用いて、ピクセルをそれぞれの細胞中心に向けたクラスタリングを誘導し、インスタンス認識セグメンテーションを実現する。
• 学習済みの帯域幅を用いてクラスタリングアルゴリズム（例：メジアンシフトまたはk-メディオイド）を適用し、ピクセルを個別の細胞インスタンスにグループ化する。
• 各画像シーケンスをエンドツーエンドで処理：再帰なしに、推論、クラスタリング、トラッキングを1回の順方向プロパゲーションで実行する。
• オフセットと帯域幅の幾何的解釈を活用し、ノイズや細胞の重なりに対する耐性を向上させる。
• オフセット回帰と帯域幅予測を組み合わせたマルチタスク損失を最適化することで、統合的セグメンテーションとトラッキングを実現する。

実験結果

リサーチクエスチョン

• RQ1 単一のCNNが、解釈可能な埋め込み（オフセットと帯域幅）を学習することで、正確なセグメンテーションと頑健なトラッキングを可能にするか？
• RQ2 段階的または再帰的アプローチと比較して、非再帰的でエンドツーエンドのモデルは、多様な2次元細胞トラッキングデータセットでどの程度の性能を示すか？
• RQ3 学習可能な帯域幅は、細胞密度や移動度が異なるデータセットにおいて、クラスタリングの頑健性をどの程度向上させるか？
• RQ4 アーキテクチャの複雑さを増さずに、高セル数や高移動度のデータセットに対しても一般化可能か？
• RQ5 細胞中心へのオフセットという埋め込みの解釈可能性は、生物学的画像解析におけるモデルの信頼性とデバッグを向上させるか？

主な発見

• EmbedTrack は Cell Tracking Challenge の9つの2次元データセットのうち3つで首位を獲得した：BF-C2DL-HSC、BF-C2DL-MuSC、Fluo-N2DH-SIM+。
• 9つのデータセットのうち7つで、全体のF1スコア（OP CTB）が上位3位以内にランクされ、優れた一般化性能を示した。
• すべてのデータセットを合理的な推論時間で処理した。シーケンスあたりの平均フレーム処理時間は1.9秒で、全処理時間は1シーケンスあたり約2分から約75分の範囲であった。
• BF-C2DL-HSC や BF-C2DL-MuSC のような高移動度データセットでも他の手法を上回った。特に、最も移動度の高い10％の細胞の重なり率が低く（例：0.388 および 0.275）、細胞の移動に対する頑健性が確認された。
• Fluo-N2DL-HeLa（最終フレームで363個の細胞） や PhC-C2DL-PSC（498個の細胞） のような高セル数データセットでも、主要指標で上位3位以内を維持し、強力な性能を発揮した。
• 解釈可能な埋め込み（細胞中心へのオフセットと学習可能な帯域幅）を用いることで、再帰的コンponentsなしに効果的なクラスタリングが可能になり、トレーニングと推論の両方が簡素化された。