[논문 리뷰] UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images

Zhe Chen, Qing Xu외 2명|arXiv (Cornell University)|2024. 02. 26.

Scientific Research and Discoveries인용 수 8

한 줄 요약

UN-SAM은 프롬프트 없이도 강력한 교차 도메인 일반화(제로샷 성능 포함)를 달성하기 위해 도메인 적응형 튜닝 인코더(DT-Encoder), 다중 스케일 자기 프롬프트 생성(SPGen), 도메인 질의 강화 디코더(DQ-Decoder)를 갖춘 프롬프트 프리 핵 분할 프레임워크를 제안합니다.

ABSTRACT

In digital pathology, precise nuclei segmentation is pivotal yet challenged by the diversity of tissue types, staining protocols, and imaging conditions. Recently, the segment anything model (SAM) revealed overwhelming performance in natural scenarios and impressive adaptation to medical imaging. Despite these advantages, the reliance of labor-intensive manual annotation as segmentation prompts severely hinders their clinical applicability, especially for nuclei image analysis containing massive cells where dense manual prompts are impractical. To overcome the limitations of current SAM methods while retaining the advantages, we propose the Universal prompt-free SAM framework for Nuclei segmentation (UN-SAM), by providing a fully automated solution with remarkable generalization capabilities. Specifically, to eliminate the labor-intensive requirement of per-nuclei annotations for prompt, we devise a multi-scale Self-Prompt Generation (SPGen) module to revolutionize clinical workflow by automatically generating high-quality mask hints to guide the segmentation tasks. Moreover, to unleash the generalization capability of SAM across a variety of nuclei images, we devise a Domain-adaptive Tuning Encoder (DT-Encoder) to seamlessly harmonize visual features with domain-common and domain-specific knowledge, and further devise a Domain Query-enhanced Decoder (DQ-Decoder) by leveraging learnable domain queries for segmentation decoding in different nuclei domains. Extensive experiments prove that UN-SAM with exceptional performance surpasses state-of-the-arts in nuclei instance and semantic segmentation, especially the generalization capability in zero-shot scenarios. The source code is available at https://github.com/CUHK-AIM-Group/UN-SAM.

연구 동기 및 목표

• 수고로운 프롬프트 없이 자동화된 고품질 핵 분할의 필요성에 대응한다.
• 다양한 조직 유형, 염색 프로토콜 및 영상 조건에 걸친 견고한 일반화를 달성한다.
• 세멘틱 및 인스턴스 작업 모두에서 높은 분할 정확도를 유지하면서도 각 핵에 대한 주석 요구를 제거한다.

제안 방법

• 도메인 공통 및 도메인 특이 임베딩을 고정된 SAM 인코더에 추가하여 핵 도메인 간 피처를 조화시키는 도메인 적응형 튜닝 인코더(DT-Encoder)
• 다중 스케일 DT-Encoder 피처에서 고품질 마스크 힌트를 자동으로 생성해 디코딩을 안내하는 다중 스케일 자기 프롬프트 생성(SPGen)
• 도메인 특이 임베딩과 자기 프롬프트를 활용해 도메인 간 세분화를 정밀하게 다듬는 도메인 질의 강화 디코더(DQ-Decoder)
• 세분화를 위한 손실 함수로 초점 손실과 다이스 손실의 간단한 두 항 손실을 사용
• 다음 도메인으로 도메인별 학습을 진행하고 도메인 공통 임베딩의 상속을 통해 지속 학습을 촉진

실험 결과

연구 질문

• RQ1 UN-SAM이 수동 프롬프트 없이도 핵의 의미적 및 인스턴스 분할을 정확하게 수행할 수 있는가?
• RQ2 도메인 적응 인코더와 도메인 인식 디코더가 제로샷 시나리오를 포함한 다양한 핵 이미지 도메인에서 얼마나 잘 일반화하는가?
• RQ3 다중 스케일 피처에서 자동 생성된 프롬프트가 수동 프롬프트와 비교해 분할에 신뢰할 수 있는 가이드를 제공하는가?
• RQ4 도메인 특이 임베딩과 도메인 공통 임베딩이 핵 분할의 교차 도메인 일반화에 미치는 영향은 무엇인가?

주요 결과

• UN-SAM은 수동 프롬프트 없이도 다수의 핵 분할 벤치마크에서 최고 수준의 성능 또는 경쟁력 있는 성능을 달성한다.
• DT-Encoder는 SAM을 고정한 상태로 도메인 공통 및 도메인 특이 임베딩을 도입해 효과적인 교차 도메인 피처 튜닝을 가능하게 한다.
• SPGen은 다중 스케일 피처에서 고품질의 자기 프롬프트를 생성해 오탐을 줄이고 정확한 분할을 안내한다.
• 도메인 질의가 포함된 DQ-Decoder는 핵 도메인 간 디코딩을 개선해 의미적 및 인스턴스 분할의 일반화를 강화한다.
• 제로샷 일반화 테스트에서 UN-SAM은 여러 의료용 SAM 벤치마크 대비 상당한 성능 향상을 보인다.
• 교차 도메인 실험에서 UN-SAM은 다른 도메인에서 미세조정되더라도 강력한 일반화 및 경쟁력 있는 또는 우수한 성능을 보여준다.