[논문 리뷰] Disentangling Prompt Dependence to Evaluate Segmentation Reliability in Gynecological MRI

Elodie Germani, Krystel Nyangoh-Timoh외 2명|arXiv (Cornell University)|2026. 03. 09.

Fetal and Pediatric Neurological Disorders인용 수 0

한 줄 요약

논문은 프롬프트 가능한 세그멘테이션에서 프롬프트 모호성과 로컬 민감도를 분리하는 프레임워크를 도입하여 생식기 MRI에서 강건한 신뢰도 평가를 가능하게 한다. 조건부 MDN을 이용해 그럴듯한 프롬프트를 모델링하고 안정성-마진 예측기를 통해 로컬 프롬프트 민감도를 측정하며, 두 개의 골반 MRI 데이터셋에서 평가한다.

ABSTRACT

Promptable segmentation models (e.g., the Segment Anything Models) enable generalizable, zero-shot segmentation across diverse domains. Although predictions are deterministic for a fixed image-prompt pair, the robustness of these models to variations in user prompts, referred to as prompt dependence, remains underexplored. In safety-critical workflows with substantial inter-user variability, interpretable and informative frameworks are needed to evaluate prompt dependence. In this work, we assess the reliability of promptable segmentation by analyzing and measuring its sensitivity to prompt variability. We introduce the first formulation of prompt dependence that explicitly disentangles prompt ambiguity (inter-user variability) from local sensitivity (interaction imprecision), offering an interpretable view of segmentation robustness. Experiments on two female pelvic MRI datasets for uterus and bladder segmentation reveal a strong negative correlation between both metrics and segmentation performance, highlighting the value of our framework for assessing robustness. The two metrics have low mutual correlation, supporting the disentangled design of our formulation, and provide meaningful indicators of prompt-related failure modes.

연구 동기 및 목표

• 프롬프트 가능한 세그멘테이션의 안전-critical 의료 워크플로우에서 강건한 평가를 촉진한다.
• 사용자 간 프롬프트 모호성과 상호작용-정밀도(로컬 민감도)를 분리한다.
• 이미지 조건부 프롬프트를 Mixture Density Network (MDN)로 모델링하여 프롬프트 모호도를 정량화한다.
• 프롬프트 교란 아래에서의 로컬 민감도를 포착하기 위해 안정성 마진을 정의하고 추정한다.
• 자궁과 방광 세그멘테이션을 포함하는 두 개의 여성 골반 MRI 데이터셋에서 프레임워크를 시연한다.

제안 방법

• 프롬프트 의존성을 프롬프트 모호성과 로컬 민감도의 분산 분해로 형식화한다.
• conditional MDN으로 유효한 프롬프트의 분포 P_valid(b|I)를 모델링하여 프롬프트 모호도 U_amb = tr(Cov_p_theta(b|x))를 추정한다.
• 참조 프롬프트를 중심으로 delta 교란을 정의하고 임계값 tau를 넘는 가장 작은 교란으로 안정성 마진 delta*를 정량화한다.
• 반복 샘플링 없이도 빠르게 근사하는 안정성 마진 예측기 r_psi를 학습한다.
• p_theta(b|x)에서 1000개의 프롬프트를 샘플링하고 결과 마스크를 집계하여 경계에 정렬된 엔트로피 맵을 얻는 픽셀 단위 불확실성 맵을 계산한다.
• 두 개의 골반 MRI 데이터세트 UT-EndoMRI, MOGaMBO에서 두 개의 SAM 기반 아키텍처(MobileSAM, MedSAM)를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 프롬프트 모호성과 로컬 민감도를 분리해 의학용 MRI에서 프롬프트 가능 세그멘테이션에 대한 해석 가능한 강건성 평가를 제공할 수 있는가?
• RQ2 이미지 조건부 프롬프트 분포가 픽셀 수준의 불확실성과 세그멘테이션 품질과 어떤 관계가 있는가?
• RQ3 프롬프트 모호도와 로컬 민감도는 Dice 점수와 상관관계가 있으며, 대체로 독립적인가?
• RQ4 안정성 마진 예측기가 세그멘테이션을 바꾸는 최소 프롬프트 교란을 효율적으로 근사할 수 있는가?
• RQ5 제안된 메트릭이 프롬프트 기반 의학 세그멘테이션에서 실패 모드를 식별하고 특성화하는 데 유용한가?

주요 결과

• 프롬프트 모호성과 로컬 민감도 간의 상호 상관이 낮게 나타나 분리 해석을 뒷받침한다.
• 두 데이터세트와 모델에서 프롬프트 모호도가 높고 로컬 민감도가 높을수록 Dice 점수가 낮아 세그멘테이션 품질이 감소한다.
• 조건부 MDN은 그럴듯한 프롬프트를 정확히 포착하고 세그멘테이션 오류와 정렬된 픽셀 수준 불확실성 맵을 가능하게 한다.
• 안정성 마진은 세그멘테이션 강건성과 상관되며 delta*가 클수록 프롬프트가 더 강건함을 시사한다.
• 조건부 프롬프트 분포에서 파생된 불확실성 맵은 공간적으로 일관되고 경계에 맞춰 정렬된 불확실성을 제공한다.
• 프레임워크는 프롬프트 의존성이 성능에 미치는 영향을 데이터셋-모델에 따라 차이ශ්가 있음을 보여준다.