[論文レビュー] UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images

Zhe Chen, Qing Xu+2 more|arXiv (Cornell University)|Feb 26, 2024

Scientific Research and Discoveries被引用数 8

ひとこと要約

UN-SAM は、手動プロンプトなしで強力なクロスドメイン一般化を実現する、Domain-adaptive Tuning Encoder、Multi-scale Self-Prompt Generation、Domain Query-enhanced Decoder を備えたプロンプトフリー核セグメンテーション框ワークを提案します。ゼロショット性能を含みます。

ABSTRACT

In digital pathology, precise nuclei segmentation is pivotal yet challenged by the diversity of tissue types, staining protocols, and imaging conditions. Recently, the segment anything model (SAM) revealed overwhelming performance in natural scenarios and impressive adaptation to medical imaging. Despite these advantages, the reliance of labor-intensive manual annotation as segmentation prompts severely hinders their clinical applicability, especially for nuclei image analysis containing massive cells where dense manual prompts are impractical. To overcome the limitations of current SAM methods while retaining the advantages, we propose the Universal prompt-free SAM framework for Nuclei segmentation (UN-SAM), by providing a fully automated solution with remarkable generalization capabilities. Specifically, to eliminate the labor-intensive requirement of per-nuclei annotations for prompt, we devise a multi-scale Self-Prompt Generation (SPGen) module to revolutionize clinical workflow by automatically generating high-quality mask hints to guide the segmentation tasks. Moreover, to unleash the generalization capability of SAM across a variety of nuclei images, we devise a Domain-adaptive Tuning Encoder (DT-Encoder) to seamlessly harmonize visual features with domain-common and domain-specific knowledge, and further devise a Domain Query-enhanced Decoder (DQ-Decoder) by leveraging learnable domain queries for segmentation decoding in different nuclei domains. Extensive experiments prove that UN-SAM with exceptional performance surpasses state-of-the-arts in nuclei instance and semantic segmentation, especially the generalization capability in zero-shot scenarios. The source code is available at https://github.com/CUHK-AIM-Group/UN-SAM.

研究の動機と目的

• 煩雑なプロンプトなしで自動的かつ高品質な核セグメンテーションの必要性に対処する。
• さまざまな組織タイプ、染色プロトコル、イメージング条件に対して堅牢な一般化を達成する。
• 個々の核のアノテーション要件を排除しつつ、意味セグメンテーションとインスタンスタスクの両方で高いセグメンテーション精度を維持する。

提案手法

• Domain-adaptive Tuning Encoder (DT-Encoder) は、凍結された SAM エンコーダにドメイン共通およびドメイン特有の埋め込みを追加して、核ドメイン全体の特徴を調和させる。
• Multi-scale Self-Prompt Generation (SPGen) は、マルチスケールの DT-Encoder 特徴から高品質なマスクヒントを自動的に生成し、デコーディングを導く。
• Domain Query-enhanced Decoder (DQ-Decoder) は、ドメイン特有のクエリ埋め込みと自己プロンプトを使用して、ドメイン間でセグメンテーションを洗練させる。
• セグメンテーション訓練のために、焦点損失とダイス損失を組み合わせた簡単な二項損失を用いる。
• 訓練はドメインごとに進行し、継続的学習を促すためにドメイン共通埋め込みを継承する。

実験結果

リサーチクエスチョン

• RQ1 UN-SAM は Manual prompts を使わずに核の意味的およびインスタンスセグメンテーションを正確に行えるか？
• RQ2 ドメイン適応エンコーダとドメイン認識デコーダは、ゼロショットを含む多様な核画像ドメイン間でどの程度一般化するか？
• RQ3 マルチスケール特徴から自己生成プロンプトは、手動プロンプトと比較して信頼性のあるガイダンスを提供するか？
• RQ4 ドメイン特有およびドメイン共通埋め込みが、核セグメンテーションのクロスドメイン一般化に与える影響は何か？

主な発見

• UN-SAM は、手動プロンプトなしで複数の核セグメンテーションベンチマークで最先端または競争力のある結果を達成する。
• DT-Encoder は、SAM を凍結したままドメイン共通およびドメイン特有の埋め込みを取り入れることで、効果的なクロスドメイン特徴調整を可能にする。
• SPGen はマルチスケール特徴から高品質な自己プロンプトを生成し、偽陽性を減らし正確なセグメンテーションを導く。
• DQ-Decoder はドメインクエリを用いたデコードを改善し、意味セグメンテーションとインスタンスセグメンテーションの一般化を向上させる。
• ゼロショット一般化テストで、UN-SAM はいくつかの医療用 SAM ベースラインよりも大幅な性能向上を示す。
• クロスドメイン実験全体で、UN-SAM は強力な一般化を示し、異なるドメインでのファインチューニング時にも競争力ある、あるいは優れた性能を示す。