[論文レビュー] The Multi-modality Cell Segmentation Challenge: Towards Universal Solutions

Jun Ma, Ronald Xie+38 more|arXiv (Cornell University)|Aug 10, 2023

Cell Image Analysis Techniques参考文献 55被引用数 15

ひとこと要約

本論文はNeurIPSの多モダリティ細胞セグメンテーションベンチマークを紹介し、Transformerベースのモデルが多様な顕微鏡画像全体で優れた一般化能力を示すこと、公開されたDocker化実装とNapari統合があることを示しています。

ABSTRACT

Cell segmentation is a critical step for quantitative single-cell analysis in microscopy images. Existing cell segmentation methods are often tailored to specific modalities or require manual interventions to specify hyper-parameters in different experimental settings. Here, we present a multi-modality cell segmentation benchmark, comprising over 1500 labeled images derived from more than 50 diverse biological experiments. The top participants developed a Transformer-based deep-learning algorithm that not only exceeds existing methods but can also be applied to diverse microscopy images across imaging platforms and tissue types without manual parameter adjustments. This benchmark and the improved algorithm offer promising avenues for more accurate and versatile cell analysis in microscopy imaging.

研究の動機と目的

• さまざまな顕微鏡モダリティに対して手動チューニングなしで普遍的・自動的な細胞セグメンテーションの開発を促進する。
• 複数のイメージングプラットフォームと組織タイプに跨る大規模で多様なベンチマークデータセットを提供する。
• 一般的なアルゴリズムを評価し、有効なアーキテクチャおよびデータ拡張戦略を特定する。
• オープンソースコード、Napari統合、Dockerコンテナによる再現性とアクセス性を促進する。

提案手法

• 多様な訓練セットを組み立てる（1000枚のラベル付き + 1500枚のラベルなし画像）と、100枚のチューニングセット、422枚のホールドアウトテストセットを用意する。
• 標準化プラットフォーム上のDockerベースの提出システムを介してアルゴリズムを評価し、タイミングと精度の指標を用いる。
• 距離/セマンティックマップのためのマルチヘッド出力を備えたTransformerベースのアーキテクチャ（例：SegFormerのマルチスケールアテンション）を用い、インスタンスセグメンテーションを可能にする。
• 新しいデータへのファインチューニング時に発生する壊れやすさ（カタストロフィックフォオゲッティング）を緩和するためにセルメモリリプレイを組み込む。
• スライドウィンドウ/パッチベースの処理による全スライド画像の効率的推論を検討する。
• 生物学者が実際に利用しやすいよう、オープンソースコードとNapari統合を提供する。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが蛍光、蛍光以外の明視野、位相差、DIC画像のセグメンテーションを手動パラメータ調整なしで正確に行えるか。
• RQ2 Transformerベースのアーキテクチャはモーダリティを横断した普遍的な細胞セグメンテーションにおいてCNNベースのアプローチより一般化性能が高いか。
• RQ3 データ拡張、事前訓練、メモリリプレイ戦略のどれがドメイン横断の一般化を最も改善するか。
• RQ4 普遍的セグメンテーション設定で推論時間とメモリ使用量の効率が精度とどのようにトレードオフするか。
• RQ5 トップ性能の手法は未知の組織・細胞種や全スライド画像へ一般化可能か。

主な発見

• 上位3つのアルゴリズムはホールドアウトセットで中央値F1スコアが89.7%、84.4%、84.4%を達成。
• 優勝手法T1-osilabは外れ値を抑えつつ高精度を達成し、1000×1000画像あたり約2秒の推論時間。
• Transformerベースのモデルはこの多様なベンチマークにおいて最先端の一般istおよびCNNベース手法を著しく上回る。
• セルメモリリプレイはCellpose 2.0をファインチューニングした際に観察されるカタストロフィックフォゲッティングを緩和する。
• アルゴリズムはNapari統合とDockerコンテナを備えて公開され、実践的な利用を容易にしている。