[논문 리뷰] False Negative/Positive Control for SAM on Noisy Medical Images

Xing Yao, Han Liu외 10명|arXiv (Cornell University)|2023. 08. 20.

Medical Image Segmentation Techniques인용 수 5

한 줄 요약

이 논문은 피처 테스트 단계에서 몬테카를로 경계상자 샘플링과 애일레토릭 불확실성 기반의 가짜 음성/양성 보정(FNPC)을 조합한 프롬프트 증강 방법을 제안한다. 이는 피팅 훈련 없이 노이즈가 많고 대trast가 낮은 초음파 영상에서 Segment Anything Model(SAM)의 성능을 향상시키기 위한 것이다. 이 방법은 제로샷 세그멘테이션의 강건성과 다양한 프롬프트 품질에 대한 일반화 능력을 향상시키며, 신장 및 태반 초음파 데이터셋에서 최신 기술 수준의 성능을 달성한다. 또한 SS2V 프레임워크를 통해 단일 2D 경계상자에서 3D 세그멘테이션을 가능하게 한다.

ABSTRACT

The Segment Anything Model (SAM) is a recently developed all-range foundation model for image segmentation. It can use sparse manual prompts such as bounding boxes to generate pixel-level segmentation in natural images but struggles in medical images such as low-contrast, noisy ultrasound images. We propose a refined test-phase prompt augmentation technique designed to improve SAM's performance in medical image segmentation. The method couples multi-box prompt augmentation and an aleatoric uncertainty-based false-negative (FN) and false-positive (FP) correction (FNPC) strategy. We evaluate the method on two ultrasound datasets and show improvement in SAM's performance and robustness to inaccurate prompts, without the necessity for further training or tuning. Moreover, we present the Single-Slice-to-Volume (SS2V) method, enabling 3D pixel-level segmentation using only the bounding box annotation from a single 2D slice. Our results allow efficient use of SAM in even noisy, low-contrast medical images. The source code will be released soon.

연구 동기 및 목표

• 표준 프롬프트가 가짜 음성 및 양성 결과를 유도하는 노이즈가 많고 대trast가 낮은 의료 초음파 영상에서 SAM의 성능이 열 劣한 문제를 해결한다.
• 추가 훈련이나 픽셀 수준의 앤오테이션 없이도 프롬프트의 브러시함(예: 정확하지 않은 경계상자)에 대해 제로샷 세그멘테이션의 강건성을 향상시킨다.
• 추론 단계에서 SAM 예측의 세그멘테이션 오류를 보정하기 위해 불확실성 추정을 활용하는 방법을 개발한다.
• 단일 2D 경계상자 앤오테이션을 기반으로 Single-Slice-to-Volume(SS2V) 방법을 통해 3D 세그멘테이션을 수행한다.
• 실세계 의료 영상 작업—신장 및 태반 초음파 세그멘테이션—에서 다양한 프롬프트 품질 수준에서의 성능을 입증한다.

제안 방법

• 초기 프롬프트 주변에 N+1개의 경계상자를 몬테카를로 샘플링으로 생성하며, 반경 R = (1/M) × min(BB edges) 범위 내로 제약을 둔다. 이는 인간의 앤오테이션 변동성을 시뮬레이션하기 위함이다.
• 다양한 샘플된 경계상자로부터의 예측 결과를 이용해 평균 세그멘테이션 마스크를 계산하며, 앙상블 예측 결과로부터 애일레토릭 불확실성 맵을 통해 불확실성 추정을 수행한다.
• 이중 단계 임계값 전략을 구현한다: 첫 번째로 전역 불확실성 임계값(T_UC)을 적용해 저신뢰 영역을 식별하고, 두 번째로 별도의 고/저 임계값(T_FNh, T_FPl, T_FPh, T_FPl)을 사용해 평균 마스크 내의 가짜 음성 및 양성 영역을 보정한다.
• FNPC 전략을 추론 파이프라인에 통합하여 재학습 없이도 SAM 출력을 후처리로 정밀화한다.
• Single-Slice-to-Volume(SS2V) 방법을 개발한다: 단일 기준 슬라이스의 예측 마스크를 기반으로 3D 볼륨 전역에 걸쳐 합성 2D 경계상자를 생성함으로써, 한 개의 수동 앤오테이션으로부터 전체 3D 세그멘테이션을 가능하게 한다.
• 기준 슬라이스에서 FNPC 보정 마스크를 활용해 인접 슬라이스의 합성 BB 생성을 유도함으로써 일관성 유지 및 오류 전파 감소를 도모한다.

실험 결과

연구 질문

• RQ1 다중 박스 프롬프트 증강과 불확실성 기반 보정을 조합할 경우, 노이즈가 많은 초음파 영상에서 SAM의 세그멘테이션에서 가짜 음성 및 양성 영역을 유의미하게 감소시킬 수 있는가?
• RQ2 표준 SAM 및 단순 평균화와 비교해 제안된 FNPC 방법은 프롬프트 품질의 변동성(정밀, 중간, 브러시한 경계상자)에 대해 얼마나 강건한가?
• RQ3 SS2V 방법을 통해 단일 2D 경계상자 앤오테이션으로 3D 볼륨 데이터에서 정확한 픽셀 수준의 세그멘테이션을 얼마나 잘 달성할 수 있는가?
• RQ4 추론 단계에서 애일레토릭 불확실성 추정을 통합할 경우, 추가 모델 훈련 없이도 세그멘테이션 신뢰성과 성능이 향상되는가?
• RQ5 제안된 방법은 다양한 의료 영상 작업(예: 신장 및 태반)에 일반화되어 있으며, 저대비, 노이즈가 많은 조건에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 신장 초음파 세그멘테이션에서 FNPC는 모든 프롬프트 수준(Fine, Medium, Coarse)에서 딱시 스코어 0.88 ± 0.04를 기록했으며, SAM(0.87–0.77) 및 평균(0.87–0.70)을 모두 초월했다. 또한 정밀한 프롬프트에서 브러시한 프롬프트로의 성능 저하가 최소화되었다.
• 태반 세그멘테이션에서 FNPC는 딱시 스코어 0.78 ± 0.08을 기록했으며, SAM(0.71 ± 0.24) 및 평균(0.70 ± 0.17)을 크게 앞서며, HD(3.49 대 3.87)는 52% 감소하고 ASSD(0.55 대 1.21)는 54% 감소했다.
• SS2V 방법은 단일 2D 경계상자만으로 태반 3D 세그멘테이션에서 딱시 스코어 0.72 ± 0.17를 기록했으며, FNPC의 성능(0.78 ± 0.08)과 유사하여 3D 볼륨으로의 일반화 능력이 뛰어나다는 것을 입증했다.
• FNPC 방법은 놀라운 강건성을 보였다: 딱시 스코어가 정밀, 중간, 브러시한 프롬프트 모두에서 안정적으로 0.88를 유지했으며, 반면 SAM의 딱시 스코어는 0.90에서 0.77로 급격히 하락했다. 이는 프롬프트의 정확도 부족에 대한 높은 내성성을 시사한다.
• 불확실성 기반 보정 전략은 가짜 음성 및 양성 영역을 효과적으로 감소시켰다(그림 3의 초록 및 주황 화살표로 시각화됨). 이는 FNPC가 모호한 예측을 정밀하게 보정할 수 있음을 확인한다.
• 중앙 슬라이스에서의 하이퍼파라미터 튜닝 결과 최적의 임계값으로 T_UC = 0.2, M = 4, N = 30, T_FNl = T_FPl = 70, T_FNh = T_FPh = 200(태반), T_FNh = T_FPh = 20(신장)로 도출되었으며, 이는 임계값 선택 시 작업에 특화된 민감성이 있음을 나타낸다.