[論文レビュー] Cell Segmentation by Combining Marker-Controlled Watershed and Deep Learning

Filip Lux, Petr Matula|arXiv (Cornell University)|Apr 3, 2020

Cell Image Analysis Techniques参考文献 51被引用数 14

ひとこと要約

本稿では、マーカー制御ウォーターシェーデッド変換と2つのU-Netベースの畳み込みニューラルネットワーク（CNN）を組み合わせた、画素単位の細胞マーカーと画像フォアグラウンドの予測を行う、新規な細胞セグメンテーション手法を提案する。この手法は、3つの多様なCell Tracking Challengeデータセットで最先端の性能を達成し、予測されたセグメンテーション関数と剛体なデータ拡張を活用することで、ベースライン手法に比べて顕著にセグメンテーション精度が向上した。

ABSTRACT

We propose a cell segmentation method for analyzing images of densely clustered cells. The method combines the strengths of marker-controlled watershed transformation and a convolutional neural network (CNN). We demonstrate the method universality and high performance on three Cell Tracking Challenge (CTC) datasets of clustered cells captured by different acquisition techniques. For all tested datasets, our method reached the top performance in both cell detection and segmentation. Based on a series of experiments, we observed: (1) Predicting both watershed marker function and segmentation function significantly improves the accuracy of the segmentation. (2) Both functions can be learned independently. (3) Training data augmentation by scaling and rigid geometric transformations is superior to augmentation that involves elastic transformations. Our method is simple to use, and it generalizes well for various data with state-of-the-art performance.

研究の動機と目的

• エッジコントラストが低く、信号対雑音比が低いマイクロスコピー画像において、密集・凝集した細胞群を、形態的に複雑な細胞として分離するという、長年の課題に取り組む。
• 単独の深層学習（例：U-Net）では接している細胞を分離できないこと、および従来のウォーターシェーデッド手法ではマーカーとセグメンテーション関数の定義が困難であるという限界を克服する。
• 多様な画像モodalitiesにわたるセグメンテーション精度の向上を実現するため、深層学習と数学的モーフォロジーを統合した汎用的で頑健なパイプラインを開発する。
• トレーニングデータの拡張戦略、マーカー定義手法、マルチタスク学習のセグメンテーション性能への影響を調査する。

提案手法

• 各画素について、細胞マーカーである確率と、細胞フォアグラウンド（画像マスク）に属する確率を予測するため、2つの別個のU-NetスタイルのCNNを用いる。
• CNNの予測結果を、エロージョンと距離変換を含む形態的演算によってマーカー関数に変換し、信頼性の高い細胞中心を定義する。
• 予測されたフォアグラウンド確率に基づいてセグメンテーション関数を生成し、ウォーターシェーデッド変換が細胞境界を明確に定義するのをガイドする。
• 計算されたマーカー関数とセグメンテーション関数を用いてマーカー制御ウォーターシェーデッド分離を実行し、最終的な細胞インスタンスセグメンテーションを生成する。
• CNN出力を有効なウォーターシェーデッド入力に変換するため、形態的演算子を用いて空間的一致性を確保し、予測のノイズを低減する。
• スケーリングと剛体な幾何変換（回転、反転）によるトレーニングデータ拡張を実装し、エラスティック変形を用いた拡張よりも一般化性能が優れた。

実験結果

リサーチクエスチョン

• RQ1 深層学習により、マーカー関数とセグメンテーション関数を同時に予測することにより、片方の関数のみを用いる場合に比べ、細胞セグメンテーション精度が向上するか？
• RQ2 マーカー関数とセグメンテーション関数を独立して学習させても性能に劣化が生じず、異なるアノテーションタイプに対応した柔軟なトレーニングが可能か？
• RQ3 データ拡張戦略として、剛体変換とエラスティック変形のどちらがモデルの一般化性能と性能に与える影響が大きいのか？
• RQ4 異なるマーカーのアノテーションタイプ（完全アノテーション vs. ワーキングアノテーション）とエロージョンパラメータが、検出精度と頑健性に与える影響は？
• RQ5 マルチタスク学習（1つのネットワークがマーカーとフォアグラウンドの両方を予測）は、別個のネットワークを用いる場合に比べて顕著な性能向上をもたらすか？

主な発見

• ウォーターシェーデッドのマーカー関数とセグメンテーション関数の両方を予測することで、セグメンテーション精度が顕著に向上し、DICデータセットではDiceスコアが約3ポイント、PhCデータセットでは2.4ポイント上昇した。距離ベースのセグメンテーション関数を用いた場合に比べて顕著な改善が得られた。
• 本手法は、3つのCell Tracking Challengeデータセット（DIC、PhC、およびもう1つ）において、細胞検出とセグメンテーションの両面でトップパフォーマンスを達成し、パブリックベンチマークで1位または2位を獲得した。
• エラスティック変形を含む拡張よりも、剛体な幾何変換とスケーリングでのトレーニングが優れた性能を示し、細胞形態の保持が良好で、一般化性能が向上することが示された。
• 正確な細胞中心ラベルが付与された完全アノテーションから得たマーカーは、特に形状が複雑な細胞に対して、弱いアノテーションからのマーカーに比べて優れた検出性能を示した。
• エロージョンパラメータ $k$（細胞径とマーカー径の比）は、$k = 0.4$ から $0.6$ の範囲で性能にほとんど影響を与えず、安定した結果が得られた。これは、マーカーのサイズ変動に対して頑健であることを示唆している。
• マルチタスク学習は、別個のネットワークを用いた場合に比べて、Diceスコアや検出スコアに0.003未満の差異しかもたらさなかった。このため、モularityとアノテーションの柔軟性を考慮すると、2つの独立したCNNの使用が妥当であると結論づけた。