[논문 리뷰] EviPrompt: A Training-Free Evidential Prompt Generation Method for Segment Anything Model in Medical Images

Yinsong Xu, Jiaqi Tang외 2명|arXiv (Cornell University)|2023. 11. 10.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

EviPrompt는 미세조정 없이도 의료 영상에서 Segment Anything Model(SAM)에 대한 증거 기반 프롬프트 생성 방법을 제안한다. 이는 불확실성 인식 프롬프트 설계를 통해 모델 재학습 없이도 제로샷 세그멘테이션 성능을 향상시킨다. EviPrompt는 FLARE22, JSRT, Kvasir-SEG를 포함한 여섯 가지 다양한 의료 영상 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 영상 수준의 증거를 기반으로 동적으로 고품질 프롬프트를 생성함으로써 달성되며, 모델 적응 없이도 기존 프롬프트 전략보다 뛰어난 성능을 발휘한다.

ABSTRACT

Medical image segmentation has immense clinical applicability but remains a challenge despite advancements in deep learning. The Segment Anything Model (SAM) exhibits potential in this field, yet the requirement for expertise intervention and the domain gap between natural and medical images poses significant obstacles. This paper introduces a novel training-free evidential prompt generation method named EviPrompt to overcome these issues. The proposed method, built on the inherent similarities within medical images, requires only a single reference image-annotation pair, making it a training-free solution that significantly reduces the need for extensive labeling and computational resources. First, to automatically generate prompts for SAM in medical images, we introduce an evidential method based on uncertainty estimation without the interaction of clinical experts. Then, we incorporate the human prior into the prompts, which is vital for alleviating the domain gap between natural and medical images and enhancing the applicability and usefulness of SAM in medical scenarios. EviPrompt represents an efficient and robust approach to medical image segmentation, with evaluations across a broad range of tasks and modalities confirming its efficacy.

연구 동기 및 목표

• 모델 미세조정 없이도 제로샷 의료 영상 세그멘테이션 문제를 해결하기 위해, Segment Anything Model(SAM)에 대한 프롬프트 기반 적응 기법을 제공한다.
• 재학습이 필요 없는 방법을 통해 CT, MRI, X-ray, 풍경 영상 등 다양한 의료 영상 도메인에서 세그멘테이션 정확도를 향상시킨다.
• 영상 수준의 증거를 활용해 모델의 예측 정확성과 신뢰도를 높이는 프롬프트 생성 전략을 개발한다.
• 해부학적 구조와 영상 모odalities가 다양한 여러 의료 영상 데이터셋에서의 성능 평가를 통해 일반화 능력과 강건성을 입증한다.

제안 방법

• EviPrompt는 훈련 없이도 영상 수준의 증거(예: 강도 패턴, 텍스처, 공간적 구조)를 식별하고 활용하는 증거 기반 접근 방식을 사용해 프롬프트를 생성한다.
• 입력 영상을 16×16 크기의 패치로 분할하고 기하학적 및 광학적 변환을 적용해 다양한 프롬프트 후보를 생성한다.
• 불확실성 추정을 통해 가장 정보가 풍부한 프롬프트를 선택함으로써 SAM의 가중치를 갱신하지 않으면서도 세그멘테이션 신뢰도를 향상시킨다.
• 다중 영역 세그멘테이션(예: JSRT)의 경우 영상은 수직으로 분할되고 각 영역에 대해 별도로 프롬프트가 생성되어 국소화 성능을 향상시킨다.
• SAM의 입력 요구사항을 충족하기 위해 강도 재스케일링을 [0,255] 범위로 수행하고 채널 복제를 적용한다.
• 프롬프트 공간에서 완전히 엔드 투 엔드 미분 가능하지만, 기저의 SAM 파rameter는 갱신하지 않아 제로샷 일반화 능력을 유지한다.

실험 결과

연구 질문

• RQ1 모델 미세조정 없이도 제로샷 세그멘테이션 성능을 향상시킬 수 있는 훈련 없이도 프롬프트 생성 방법은 가능한가?
• RQ2 영상 수준의 증거를 기반으로 한 증거 기반 프롬프트 생성 방식이 다양한 의료 영상 작업에서 무작위 또는 히우리스틱 프롬프트와 비교해 어떻게 성능을 높이는가?
• RQ3 EviPrompt는 CT, MRI, X-ray, 풍경 영상 등 다양한 영상 모달리티와 해부학적 구조에 대해 얼마나 잘 일반화되는가?
• RQ4 불확실성 인식 프롬프트 선택 기법이 자원이 제한된 의료 영상 환경에서 세그멘테이션 정확도와 강건성을 향상시키는 데 기여하는가?
• RQ5 EviPrompt는 전립선 영역이나 폐 영역 등 다기관 및 다구조 세그멘테이션 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• EviPrompt는 FLARE22, JSRT, Kvasir-SEG를 포함한 여섯 가지 의료 영상 데이터셋에서 모델 미세조정 없이도 최신 기술 수준의 제로샷 세그멘테이션 성능을 달성한다.
• 모든 평가된 데이터셋에서 랜덤 또는 중심 기반 프롬프트와 같은 기존 프롬프트 전략보다 뚜렷한 성능 향상을 보였다.
• JSRT 데이터셋에서 EviPrompt는 폐 영역 세그멘테이션에서 평균 Dice 스코어 0.89를 기록하여 저대비, 노이즈가 많은 X-ray 영상에서도 뛰어난 성능을 입증했다.
• Kvasir-SEG 데이터셋에서는 EviPrompt가 0.91의 Dice 스코어로 종양 세그멘테이션에서 이전의 프롬프트 기반 방법보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 증거 기반 프롬프트 생성과 불확실성 인식 선택 전략이 성능 향상에 기여한다는 것이 확인되었다.
• CT, MRI, X-ray, 풍경 촬영 영상 등 다양한 영상 모달리티에서 잘 일반화됨을 보여주어 도메인 이동에 대한 강건성을 입증했다.