[論文レビュー] An Auxiliary Task for Learning Nuclei Segmentation in 3D Microscopy Images

P. B. Hirsch, Dagmar Kainmueller|arXiv (Cornell University)|Feb 7, 2020

Cell Image Analysis Techniques参考文献 18被引用数 9

ひとこと要約

本論文は、各核の重心に向かうベクトルを予測するという単純な補助タスクを提案し、顕微鏡画像における3D核セグメンテーションの精度を顕著に向上させている。U-Netベースのモデルに統合された際、このアプローチはベースラインモデルおよび最先端のStarDist-3Dを常に上回り、特に密集した核クラスタが生じる困難な状況下で顕著な性能向上を示している。

ABSTRACT

Segmentation of cell nuclei in microscopy images is a prevalent necessity in cell biology. Especially for three-dimensional datasets, manual segmentation is prohibitively time-consuming, motivating the need for automated methods. Learning-based methods trained on pixel-wise ground-truth segmentations have been shown to yield state-of-the-art results on 2d benchmark image data of nuclei, yet a respective benchmark is missing for 3d image data. In this work, we perform a comparative evaluation of nuclei segmentation algorithms on a database of manually segmented 3d light microscopy volumes. We propose a novel learning strategy that boosts segmentation accuracy by means of a simple auxiliary task, thereby robustly outperforming each of our baselines. Furthermore, we show that one of our baselines, the popular three-label model, when trained with our proposed auxiliary task, outperforms the recent StarDist-3D. As an additional, practical contribution, we benchmark nuclei segmentation against nuclei detection, i.e. the task of merely pinpointing individual nuclei without generating respective pixel-accurate segmentations. For learning nuclei detection, large 3d training datasets of manually annotated nuclei center points are available. However, the impact on detection accuracy caused by training on such sparse ground truth as opposed to dense pixel-wise ground truth has not yet been quantified. To this end, we compare nuclei detection accuracy yielded by training on dense vs. sparse ground truth. Our results suggest that training on sparse ground truth yields competitive nuclei detection rates.

研究の動機と目的

• 核セグメンテーションのための、密集したピクセル単位の正例を備えたベンチマーク3D顕微鏡画像データセットの不足を解消すること。
• 小さな予測誤差が重大なセグメンテーション失敗を引き起こす可能性がある密集核クラスタ下での3D核インスタンスセグメンテーションのロバスト性を向上させること。
• スパarsな重心点アノテーションで学習した場合、ピクセル単位の密集ラベルで学習した場合と比較して、検出性能がどの程度競争力を持つのかを評価すること。
• 単純な補助タスクが、複数の最先端セグメンテーションアーキテクチャにおいて性能向上をもたらすことを実証すること。

提案手法

• トレーニング中に各核の重心に向かう3次元ベクトルを予測する、新しい補助タスクを導入する。
• 主なセグメンテーションネットワークと補助ベクトル予測ヘッドを、統合損失関数を用いて同時に学習する。
• セグメンテーションのバックボーンとして標準のU-Netベースアーキテクチャを用い、補助ヘッドは各ピクセルからその核の中心への正規化されたベクトルを予測する。
• 補助タスクは主なセグメンテーションタスクとエンドツーエンドに学習され、予測されたベクトルに依存する後処理を一切必要としない。
• 手動でアノテートされた密集したピクセル単位のラベルを備えた28枚の3D顕微鏡画像データセット上で手法を評価する。
• スパarsな重心点アノテーションで学習したモデルと、ピクセル単位の密集ラベルで学習したモデルとの間で検出性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 単純な補助タスクは、3D核セグメンテーションモデルの一般化性能および精度を向上させることができるか？
• RQ2 重心ベクトル予測による学習は、密集した核クラスタにおけるセグメンテーション誤差を低減するか？
• RQ3 スパarsな重心点アノテーションで学習したモデルと、ピクセル単位の密集ラベルで学習したモデルとの間で、検出性能にはどの程度の差が生じるか？
• RQ4 提案された補助タスクは、より複雑なアーキテクチャであるStarDist-3Dを上回る性能を3D核セグメンテーションで示せるか？

主な発見

• 提案された補助タスク（cpv）は、すべてのベースラインモデルにおいて一貫してセグメンテーション性能を向上させ、3ラベル + cpvモデルが平均AP 0.909の最高値を達成した。
• 3ラベル + cpvモデルは、StarDist-3Dよりも平均APおよび複数のIoU閾値で優れた性能を示したが、StarDist-3Dはより複雑なプロポーザルベースの手法である。
• スパarsな重心点アノテーションで学習したモデルは検出AP 0.895を達成し、ベースラインセグメンテーションモデルと同等の性能を示したが、補助タスクを用いて学習したモデルには及ばなかった。
• ガウス回帰モデルの検出性能（AP 0.895）はベースラインセグメンテーションモデルと同等であったが、cpv補助タスクを用いて学習したモデルには劣った。
• 予測されたベクトルに依存する後処理を一切必要としないことから、トレーニング段階での特徴量学習が向上していることが示唆された。
• 最も優れた性能を示したモデル（3ラベル + cpv）はAP0.3が0.907を記録し、検出APと非常に近い値を示しており、検出とセグメンテーションの性能が強く整合していることが示された。