[論文レビュー] NucMM Dataset: 3D Neuronal Nuclei Instance Segmentation at Sub-Cubic Millimeter Scale

Zudi Lin, Donglai Wei+13 more|arXiv (Cornell University)|Jul 13, 2021

Cell Image Analysis Techniques参考文献 37被引用数 27

ひとこと要約

本稿では、ゼブラフィッシュの電子線虫画像（EM）とマウスのマイクロCT（uCT）を用いた、0.1 mm³ および 0.25 mm³ の亜立方ミリメートルスケールの大型3次元ニューロン核インスタンスセグメンテーションベンチマークである NucMM データセットを紹介する。本稿では、前景マスク、輪郭マップ、符号付き距離変換を同時に学習する新しい3次元ハイブリッド表現モデル U3D-BCD を提案し、高精度なインスタンスセグメンテーションを実現した。このモデルは、新ベンチマーク上での平均AP（mAP）において、最先端手法と比較して22%の相対的改善を達成した。

ABSTRACT

Segmenting 3D cell nuclei from microscopy image volumes is critical for biological and clinical analysis, enabling the study of cellular expression patterns and cell lineages. However, current datasets for neuronal nuclei usually contain volumes smaller than $10^{ ext{-}3}\ mm^3$ with fewer than 500 instances per volume, unable to reveal the complexity in large brain regions and restrict the investigation of neuronal structures. In this paper, we have pushed the task forward to the sub-cubic millimeter scale and curated the NucMM dataset with two fully annotated volumes: one $0.1\ mm^3$ electron microscopy (EM) volume containing nearly the entire zebrafish brain with around 170,000 nuclei; and one $0.25\ mm^3$ micro-CT (uCT) volume containing part of a mouse visual cortex with about 7,000 nuclei. With two imaging modalities and significantly increased volume size and instance numbers, we discover a great diversity of neuronal nuclei in appearance and density, introducing new challenges to the field. We also perform a statistical analysis to illustrate those challenges quantitatively. To tackle the challenges, we propose a novel hybrid-representation learning model that combines the merits of foreground mask, contour map, and signed distance transform to produce high-quality 3D masks. The benchmark comparisons on the NucMM dataset show that our proposed method significantly outperforms state-of-the-art nuclei segmentation approaches. Code and data are available at https://connectomics-bazaar.github.io/proj/nucMM/index.html.

研究の動機と目的

• 複雑な脳構造を研究するのに適した、大規模かつマルチモodalな3次元ニューロン核データセットの不足に対処すること。
• 従来のニューロン核データセットと比較して、大幅に大きなボリュームサイズとインスタンス数を有するベンチマークデータセットを整備すること。
• 異なる画像モodalにわたる高密度・低コントラスト・多様な形態の核を処理できる、頑健な3次元インスタンスセグメンテーションモデルの開発。
• EMおよびuCTデータにおける大規模3次元ニューロン核セグメンテーションによって生じる新たな課題を定量的に分析すること。
• NucMM データセットを用いて、3次元ニューロン核インスタンスセグメンテーション分野における新規の最先端ベンチマークを確立すること。

提案手法

• NucMM データセットは、2つの完全にアノテートされた3次元ボリュームから構成される：ラーヴァルゼブラフィッシュ脳の0.1 mm³ の電子線虫画像（EM）ボリューム（約170,000個の核）と、マウス視覚皮質の0.25 mm³ のマイクロCT（uCT）ボリューム（約7,000個の核）。
• 提案された U3D-BCD モデルは、3次元U-Netアーキテクチャを用い、前景マスク、インスタンス輪郭マップ、符号付き距離変換の3つの表現を同時に予測する。
• 推論時、複数ターゲットウォーターシェド分離アルゴリズムが3つの予測を統合する。シードは、高い前景確率と距離値、かつ低い輪郭確率を示す領域として特定され、符号付き距離マップが正確なインスタンス境界検出をガイドする。
• モデルは、学習率を余弦スケジューリングで減少させ、明るさ、反転、回転、エラスティック変形、欠損部の挿入を含むデータ拡張を用いた確率的勾配降下法（SGD）で訓練される。
• 符号付き距離変換は、固定パラメータ α=8 および β=50 を用いてスケーリングされ、表現間の一貫性を活用することで、シード検出のロバスト性が向上する。
• デコード処理は、前景確率（τ4）および距離値（τ5）のしきい値に敏感であり、これらがセグメンテーション品質に顕著な影響を与えることが示され、符号付き距離マップが物体構造を捉える上で重要な役割を果たしていることが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 特にEMおよびuCTモダリティにおいて、亜立方ミリメートルスケールでの3次元ニューロン核インスタンスセグメンテーションにおける主な課題は何か？
• RQ2 前景マスク、輪郭マップ、符号付き距離変換の複数表現学習の組み合わせが、単一表現モデルと比較して、セグメンテーション性能をどのように向上させるか？
• RQ3 符号付き距離変換の導入が、高密度・低コントラストな核領域における境界検出の正確性とロバスト性をどの程度向上させるか？
• RQ4 提案された U3D-BCD モデルは、大規模かつ多様な3次元ニューロン核データに対して、最先端手法と比較して、インスタンスセグメンテーション性能でどの程度優れているか？
• RQ5 デコードハイパーパramータ、特に符号付き距離マップおよびシード検出に関連するパrameterの感度と最適設定は何か？

主な発見

• NucMM データセットは、従来のニューロン核データセットと比較して、ボリュームサイズとインスタンス数の両方で2桁以上大きい。0.1 mm³ および 0.25 mm³ のボリュームにそれぞれ170,000個および7,000個の核が含まれる。
• 提案された U3D-BCD モデルは、NucMM-Z ボリュームで平均平均精度（mAP）0.894、NucMM-M ボリュームで0.444を達成し、すべての最先端手法を22%の相対的改善で上回った。
• Cellpose [27] は NucMM-Z で mAP 0.569、StarDist [34] は 0.620、U3D-BC [33] は 0.670 を記録したが、これらは提案モデル U3D-BCD の優位性を示している。
• U3D-BCD モデルは、mAP-50 および mAP-75 を含む7つの評価指標のうち6つで1位を獲得し、NucMM-Z および NucMM-M 両方で強力なロバストネスを示している。
• 感度分析の結果、デコードのしきい値 τ4（有効領域の前景確率）および τ5（距離値のしきい値）が性能に顕著な影響を与えることが判明した。τ4 を 0.1 から 0.4 に変更すると、スコアは 0.872 から 0.946 に変化し、符号付き距離マップが正確なセグメンテーションに果たす重要な役割が強調された。
• モデルは、シード検出のしきい値 τ1 および τ2 に対しては相対的に感度が低く、広い範囲の値で mAP-50 スコアが 0.003 未満の変動にとどまり、シード局所化のロバストネスを示している。