[論文レビュー] VoxelEmbed: 3D Instance Segmentation and Tracking with Voxel Embedding based Deep Learning

Mengyang Zhao, Quan Liu+7 more|arXiv (Cornell University)|Jun 22, 2021

Cell Image Analysis Techniques参考文献 25被引用数 17

ひとこと要約

本稿では、3次元ボリュメトリック動画からの空間的・時間的文脈を捉えるためにボクセル埋め込みを用いる、新しい3次元インスタンスセグメンテーションおよびトラッキング手法VoxelEmbedを提案する。マルチストリーム学習フレームワークと3次元同期化を採用することで、1枚の12GB GPU上でエンドツーエンドかつメモリ効率の良い推論が可能となり、ISBIセルトラッキングチャレンジの4つのデータセットにおいて最先端の性能を達成した。特に、スパarsely annotatedデータにおいても優れた結果を示した。

ABSTRACT

Recent advances in bioimaging have provided scientists a superior high spatial-temporal resolution to observe dynamics of living cells as 3D volumetric videos. Unfortunately, the 3D biomedical video analysis is lagging, impeded by resource insensitive human curation using off-the-shelf 3D analytic tools. Herein, biologists often need to discard a considerable amount of rich 3D spatial information by compromising on 2D analysis via maximum intensity projection. Recently, pixel embedding-based cell instance segmentation and tracking provided a neat and generalizable computing paradigm for understanding cellular dynamics. In this work, we propose a novel spatial-temporal voxel-embedding (VoxelEmbed) based learning method to perform simultaneous cell instance segmenting and tracking on 3D volumetric video sequences. Our contribution is in four-fold: (1) The proposed voxel embedding generalizes the pixel embedding with 3D context information; (2) Present a simple multi-stream learning approach that allows effective spatial-temporal embedding; (3) Accomplished an end-to-end framework for one-stage 3D cell instance segmentation and tracking without heavy parameter tuning; (4) The proposed 3D quantification is memory efficient via a single GPU with 12 GB memory. We evaluate our VoxelEmbed method on four 3D datasets (with different cell types) from the ISBI Cell Tracking Challenge. The proposed VoxelEmbed method achieved consistent superior overall performance (OP) on two densely annotated datasets. The performance is also competitive on two sparsely annotated cohorts with 20.6% and 2% of data-set having segmentation annotations. The results demonstrate that the VoxelEmbed method is a generalizable and memory-efficient solution.

研究の動機と目的

• リソース集約的な人為的クリーニングと2次元への投影に伴う3次元空間情報の損失によって妨げられている大規模な3次元バイオメディカル動画解析の課題に対処する。
• 既存の2次元ピクセル埋め込み手法の制限を克服し、ボリュームコンテキストを保持するため、3次元ボクセル埋め込みに一般化することを目的とする。
• 高価なハイパーパramータチューニングを必要とせず、同時に3次元インスタンスセグメンテーションとトラッキングを実行できる、メモリ効率が良くエンドツーエンドのフレームワークを開発する。
• 現実の生物学的画像撮影の制約を反映する、密にアノテートされたデータとスパarselyアノテートされたデータの両方で、強固な性能を発揮できるようにする。

提案手法

• 空間的および時間的次元にわたるボリュームコンテキストを統合することで、2次元ピクセル埋め込みを3次元に一般化するボクセル埋め込み戦略を提案する。
• 3次元ボリューム全体にわたる空間的・時間的埋め込みを効率的に学習できるように、2次元畳み込みネットワークを用いたマルチストリーム学習アーキテクチャを設計する。
• スライス伝搬にインspiredされた3次元同期化アルゴリズムを導入し、2次元予測からフルボリュームマスクを再構築する。
• 個々の細胞の間で一貫性があり、区別可能な埋め込みを保証するため、コサイン埋め込み損失を用いる。
• 共有された埋め込み空間を通じてセグメンテーションとトラッキングを同時に最適化する1段階フレームワークを用いてエンドツーエンド学習を実装する。
• 学習済みの埋め込みに基づいてボクセルをインスタンスレベルのセグメントにグループ化するため、バンド幅0.1のミーンシフトクラスタリングを活用する。

実験結果

リサーチクエスチョン

• RQ1 ボクセル埋め込みは、2次元ピクセル埋め込みを3次元に一般化することで、ボリュームタイムラプス顕微鏡におけるインスタンスセグメンテーションとトラッキングの性能向上に寄与するか？
• RQ2 完全な3次元畳み込みネットワークを必要とせずに、マルチストリーム2次元ネットワーク設計が3次元空間的・時間的コンテキストを効果的に学習できるか？
• RQ3 提案手法は、ハイパーパramータチューニングを最小限に抑えて、密にアノテートされたデータとスパarselyアノテートされたデータの両方で高い性能を達成できるか？
• RQ4 12GB VRAMの1枚のGPUで実行可能であり、競争力のある正確性を維持するのに十分なメモリ効率性を有しているか？

主な発見

• VoxelEmbedはFluo-N3DH-SIM+データセットで最高の全体的性能（OP）0.876を達成し、Fluo-C3DH-A549-SIMで0.926を記録し、ベースライン手法（RSHNおよびKTH-SE）を上回った。
• 20.6％のフレームがアノテートされたFluo-N3DH-CHOデータセットでは、OPが0.910で、トラッキング（TRA：0.958）で1位、セグメンテーション（SEG：0.862）で2位を達成した。
• わずか2％のフレームがアノテートされたFluo-N3DH-CEデータセットでは、OPが0.807で全体性能で2位、トラッキング（TRA：0.897）で1位を達成した。
• 本手法は多様な細胞タイプおよびアノテーションのスパarsityレベルにおいて、強力な一般化性能を示した。
• VoxelEmbedは1枚の12GB GPUでのみ使用してこれらの結果を達成したため、メモリ効率性と実世界のバイオメディカル画像処理パイプラインへの実用性が裏付けられた。
• アブレーションスタディ（VoxelEmbed-D）では、マルチストリーム設計が性能向上に寄与していることが示され、Fluo-N3DH-SIM+でOP 0.879、Fluo-C3DH-A549-SIMでOP 0.919を達成し、堅牢性と一貫性が確認された。