[論文レビュー] CellTrack R-CNN: A Novel End-To-End Deep Neural Network for Cell Segmentation and Tracking in Microscopy Images

Yuqian Chen, Yang Song+5 more|arXiv (Cornell University)|Feb 20, 2021

Video Surveillance and Tracking Methods参考文献 16被引用数 4

ひとこと要約

CellTrack R-CNN は、マスク R-CNN にシアンペアネットワークを統合することで、細胞のセグメンテーションとトラッキングを統合するエンドツーエンドのディーブラーニングフレームワークを提案する。相対的位置符号化を用いてトラッキングを向上させ、DeepCell ベンチマークで最先端の性能を達成し、検出率97.14%、セグメンテーション率85.26%、トラッキング精度97.05%を達成した。

ABSTRACT

Cell segmentation and tracking in microscopy images are of great significance to new discoveries in biology and medicine. In this study, we propose a novel approach to combine cell segmentation and cell tracking into a unified end-to-end deep learning based framework, where cell detection and segmentation are performed with a current instance segmentation pipeline and cell tracking is implemented by integrating Siamese Network with the pipeline. Besides, tracking performance is improved by incorporating spatial information into the network and fusing spatial and visual prediction. Our approach was evaluated on the DeepCell benchmark dataset. Despite being simple and efficient, our method outperforms state-of-the-art algorithms in terms of both cell segmentation and cell tracking accuracies.

研究の動機と目的

• 後処理を伴わず、細胞セグメンテーションとトラッキングを同時に実行するエンドツーエンドのディーブラーニングフレームワークの開発。
• 低品質な顕微鏡画像における外観が類似している細胞や形状変形を伴う細胞のトラッキングという課題への対処。
• 隣接細胞の相対的位置符号化を用いて空間的文脈を統合することで、トラッキング精度の向上。
• DeepCell ベンチマークデータセットにおいて、最先端の手法と比較して優れた性能を示すこと。

提案手法

• 連続するフレーム間でのエンドツーエンドの細胞トラッキングを可能にするために、マスク R-CNN アーキテクチャにシアンペアネットワークブランチを統合。
• 空間的文脈を表すために相対的位置符号化を用いる：ターゲット細胞とその n 個の近隣細胞との間の x 及び y 座標差。
• 空間的特徴ベクトルを正規化し、トラッキングヘッドで視覚的特徴と融合することでインスタンスマッチングの精度を向上。
• ResNet-50-FPN をバックボーンとし、SGD オプティマイザを用いて、2つの連続フレームのミニバッチでネットワーク全体をエンドツーエンドで学習。
• シアンペアネットワークの共有重みを用いたトラッキングヘッドにより、連続フレーム内の細胞の特徴埋め込み間の類似度スコアを計算。
• 推論時に視覚的特徴と空間的特徴の重み付き融合を、可学習パラメータ α を用いて行い、バリデーションセットで 0.1 に最適化。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディーブラーニングフレームワークは、後処理を伴わず顕微鏡画像における細胞セグメンテーションとトラッキングを効果的に統合できるか？
• RQ2 相対的位置符号化による空間的文脈の統合は、挑戦的な顕微鏡条件下での細胞トラッキング性能をどのように向上させるか？
• RQ3 視覚的特徴と空間的特徴の統合は、単一の視覚的特徴に依存する手法と比較して、より高いトラッキング精度を達成するか？
• RQ4 セグメンテーション、検出、トラッキング性能の観点から、提案手法は最先端のアプローチと比較してどのように優れているか？

主な発見

• CellTrack R-CNN は、DeepCell ベンチマークデータセットで検出率97.14%、セグメンテーション率85.26%、トラッキング精度97.05%を達成した。
• 検出とトラッキングの精度差を 0.09 にまで縮小し、検出性能に比べてトラッキング性能の低下が最小限であることを示した。
• アブレーションスタディにより、空間的トラッキングヘッドがトラッキング性能を顕著に向上させることを確認。空間的特徴を除外した場合、D-T（検出-トラッキング差）が 2.74 ポints 減少した。
• 相対的位置符号化による空間情報の統合により、外観が類似している場合や形状変形が生じる場合でも、より頑健なトラッキングが可能になった。
• FR-Ro-GE や DeepCell と比較して、セグメンテーション、検出、トラッキングのすべての指標で優れた性能を示し、最先端の性能を達成した。
• シンプルで効率的なアーキテクチャを維持しており、標準のマスク R-CNN に比べてモデルおよび計算複雑性がわずかに増加するのみで、優れた結果を達成した。