[論文レビュー] Embedding-based Instance Segmentation in Microscopy

Manan Lalit, Pavel Tomančák+1 more|arXiv (Cornell University)|Jan 25, 2021

Cell Image Analysis Techniques参考文献 24被引用数 8

ひとこと要約

この論文では、ピクセル単位の空間的埋め込みと不確実性を考慮したクラスタリングを用いて、2次元および3次元の顕微鏡画像における軽量でエンドツーエンドのインスタンスセグメンテーション手法であるEmbedSegを紹介する。最先端の性能を達成しており、複数のデータセットで既存手法を上回っている。GPUメモリは7 GBのみを要し、一般消費者向けGPUでもトレーニングが可能である。

ABSTRACT

Automatic detection and segmentation of objects in 2D and 3D microscopy data is important for countless biomedical applications. In the natural image domain, spatial embedding-based instance segmentation methods are known to yield high-quality results, but their utility for segmenting microscopy data is currently little researched. Here we introduce EmbedSeg, an embedding-based instance segmentation method which outperforms existing state-of-the-art baselines on 2D as well as 3D microscopy datasets. Additionally, we show that EmbedSeg has a GPU memory footprint small enough to train even on laptop GPUs, making it accessible to virtually everyone. Finally, we introduce four new 3D microscopy datasets, which we make publicly available alongside ground truth training labels. Our open-source implementation is available at https://github.com/juglab/EmbedSeg.

研究の動機と目的

• 2次元および3次元の顕微鏡画像における複雑で不規則な形状のオブジェクトに対して、効果的なインスタンスセグメンテーション手法の不足を解消すること。
• 軸に沿ったバウンディングボックス手法（例：Mask R-CNN）やスターコン vex性の仮定（例：StarDist）の限界を克服し、多様な形状を扱えるようにすること。
• 最小限のGPUメモリ使用量で直接3次元インスタンスセグメンテーションを可能にし、標準的なハードウェアでも利用可能にする。
• 4つの高品質な3次元顕微鏡データセットを公開することで、新たなベンチマークを提供すること。
• 空間的埋め込みと学習可能なクラスタリング帯域幅を用いて、2次元および3次元データに一般化可能な統合フレームワークを開発すること。

提案手法

• 各ピクセルは、そのオブジェクトインスタンス内に存在する固有の埋め込みポイントへの3次元オフセットベクトルを予測し、インスタンス固有のクラスタリングを可能にする。
• 各ピクセルごとに予測された埋め込みの信頼性を推定する不確実性ベクトルを別個に予測し、ノイズや曖昧さに対するロバスト性を向上させる。
• オブジェクトインスタンスの高信頼性な中心を特定するために、各ピクセルに対してスイーデンススコアを予測する。
• オフセット、不確実性、スイーデンス予測のための分岐したERF-Netアーキテクチャを採用し、エンコーダーを共有し、ヘッドを分岐させる。
• 埋め込みの一貫性とクラスタリング制約を通じて予測マスクと正解マスクのIoUを最大化するように最適化された損失関数を用いてトレーニングを行う。
• 推論時に予測された埋め込みと帯域幅を用いてクラスタリングを実行し、各クラスタが1つのオブジェクトインスタンスに対応する。

実験結果

リサーチクエスチョン

• RQ1 複雑で軸に沿わないオブジェクト形状を有する2次元および3次元顕微鏡データに対して、埋め込みベースのインスタンスセグメンテーションが効果的に適応可能か？
• RQ2 提案手法は、2次元および3次元顕微鏡インスタンスセグメンテーションベンチマークにおいて、既存の最先端手法を上回る性能を示すか？
• RQ3 ラップトップGPUなどの低リソース環境でも、効率的にトレーニングおよびデプロイ可能か？
• RQ4 不確実性およびスイーデンスヘッドの導入により、標準的な埋め込みオンリーモデルと比較して、セグメンテーション性能がどのように向上するか？
• RQ5 3次元ボリュームデータにおける多様な生物学的イメージングモダリティおよびオブジェクト形状に、この手法は一般化可能か？

主な発見

• EmbedSegは3つの2次元および4つの3次元顕微鏡データセットで最先端の性能を達成し、U-Net、Cellpose、StarDist-3Dなどの既存ベースラインを上回っている。
• Paryhale-Nuclei-IGFL 2次元データセットでは、IoU閾値0.5で平均APが0.581を達成し、最良のベースライン（Cellpose）の0.545を上回った。
• 3次元 Mouse-Organoid-Cells-CBG データセットでは、IoU 0.5で平均APが0.581を達成し、StarDist-3D（0.472）およびU-Net（0.280）を上回った。
• EmbedSegはGPUメモリをわずか7 GBに抑え、一般消費者向けGPUでもトレーニングが可能である。一方、StarDist-3Dは20 GBを要し、アクセスが難しい。
• マウスオルガノイド、プラティネリス胚、頭蓋骨核など多様な3次元データセットにわたり、良好な一般化性能を示し、一貫した性能向上を達成した。
• 正解ラベルが付与された4つの新しい3次元顕微鏡データセットの公開により、今後の3次元インスタンスセグメンテーション研究における貴重なベンチマークが提供された。