[論文レビュー] Multi-stream Cell Segmentation with Low-level Cues for Multi-modality Images

Wei Lou, Xinyi Yu+5 more|arXiv (Cornell University)|Oct 22, 2023

Image Processing Techniques and Applications被引用数 7

ひとこと要約

この論文は、低レベルの手掛かりでマルチモーダル細胞画像をクラス別に分類し、次にカテゴリ固有のセグメンテーションモデル（丸ぽい細胞にはStardist、非規則形状にはHoverNet）を効率的なConvNeXtバックボーンと組み合わせて適用する、クラス別マルチストリームセグメンテーションフレームワークを提案します。

ABSTRACT

Cell segmentation for multi-modal microscopy images remains a challenge due to the complex textures, patterns, and cell shapes in these images. To tackle the problem, we first develop an automatic cell classification pipeline to label the microscopy images based on their low-level image characteristics, and then train a classification model based on the category labels. Afterward, we train a separate segmentation model for each category using the images in the corresponding category. Besides, we further deploy two types of segmentation models to segment cells with roundish and irregular shapes respectively. Moreover, an efficient and powerful backbone model is utilized to enhance the efficiency of our segmentation model. Evaluated on the Tuning Set of NeurIPS 2022 Cell Segmentation Challenge, our method achieves an F1-score of 0.8795 and the running time for all cases is within the time tolerance.

研究の動機と目的

• 自動的に4つの低レベル特徴ベースのカテゴリへマルチモーダル顕微鏡画像を分類する。
• 異なるセグメンテーション手法の強みを活かすため、カテゴリ固有のセグメンテーションモデルを訓練する。
• ConvNeXtバックボーンを用いて効率化を図り、NeurIPS 2022 Cell Segmentation Challengeデータでエンドツーエンドの性能を評価する。
• 擬似ラベリングによる未ラベルデータがセグメンテーション性能を改善するかを検討する。

提案手法

• ConvNeXt-Stardistセグメンテーションモデルを用いた擬似ラベル合成による自動細胞画像分類でラベルを生成する。
• 低レベルの手掛かりに基づく画像の4カテゴリへの非教師あり分類（バイナリ、グレイ、large-cell color、small-cell color）。
• テスト画像を4カテゴリのいずれかに割り当てるResNet18ベースの分類器を訓練する。
• クラスごとマルチストリームセグメンテーションを実現：丸ぽい細胞にはConvNeXt-Stardist、非規則形状にはConvNeXt-Hoverを適用する（Class 0, 2, 3 はStardist、Class 1 はHover）。
• 全ラベル付きデータで事前訓練を行い、対応するカテゴリ画像でクラス別にファインチューニングする。
• Stardistの損失：CE、Dice、MAE；Hoverの損失：CE、Dice、MSE、MSGE；NMSとマーカでのウェザーショドラ（ watershed）による後処理。
• 推論時には分類器を用いてテスト画像を対応するクラス別セグメンテーションモデルへルーティングする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル顕微鏡画像の自動的な低レベル特徴ベースのクラスタリングは、モダリティを超えたセグメンテーションの一般化を改善するか。
• RQ2 クラス別マルチストリームセグメンテーションフレームワークは、マルチモーダル細胞画像に対して単一モデルアプローチよりも性能が良いか。
• RQ3 ConvNeXtバックボーンとStardistまたはHoverNetヘッドは、形状を問わず効率的で高精度な細胞セグメンテーションに有効か。
• RQ4 擬似ラベルを用いた未ラベルデータの組み込みはセグメンテーション性能を高めるか。

主な発見

• 提案されたパイプラインは、チューニングセットでの総合F1スコア0.8795を達成。
• クラス別微調整により、チューニングセットでF1の最大5.81%の性能向上を達成。
• 一部クラスにStardist、Class 1にHoverを用いたクラス別モデルは、事前学習済みで微調整なしの対向モデルより性能を向上。
• 最終チューニングセットでの平均F1は改善を示し、Ourは0.8795、事前学習 varianteに対して。
• 定性的な結果は、高密度および低密度に分布する細胞で強い性能を示し、背景が明るい前景/暗い背景の画像でいくつかの失敗が見られる。
• 実行時間は、すべてのチューニングセットケースで許容時間内に収まる。