[论文解读] Disentangling Prompt Dependence to Evaluate Segmentation Reliability in Gynecological MRI

Elodie Germani, Krystel Nyangoh-Timoh+2 more|arXiv (Cornell University)|Mar 9, 2026

Fetal and Pediatric Neurological Disorders被引用 0

一句话总结

该论文提出一个框架，将提示歧义与局部敏感性在可提示分割中分离，实现在妇科MRI中的鲁棒性评估。它使用条件MDN对合理提示进行建模，并使用稳定性边际预测器衡量局部提示敏感性，在两个盆腔MRI数据集上进行评估。

ABSTRACT

Promptable segmentation models (e.g., the Segment Anything Models) enable generalizable, zero-shot segmentation across diverse domains. Although predictions are deterministic for a fixed image-prompt pair, the robustness of these models to variations in user prompts, referred to as prompt dependence, remains underexplored. In safety-critical workflows with substantial inter-user variability, interpretable and informative frameworks are needed to evaluate prompt dependence. In this work, we assess the reliability of promptable segmentation by analyzing and measuring its sensitivity to prompt variability. We introduce the first formulation of prompt dependence that explicitly disentangles prompt ambiguity (inter-user variability) from local sensitivity (interaction imprecision), offering an interpretable view of segmentation robustness. Experiments on two female pelvic MRI datasets for uterus and bladder segmentation reveal a strong negative correlation between both metrics and segmentation performance, highlighting the value of our framework for assessing robustness. The two metrics have low mutual correlation, supporting the disentangled design of our formulation, and provide meaningful indicators of prompt-related failure modes.

研究动机与目标

• 推动对医疗工作流中可提示分割的鲁棒评估。
• 将用户间的提示歧义与交互导致的精度鞒（局部敏感性）解耦。
• 使用混合密度网络（MDN）对图像条件下的提示进行建模，以量化提示歧义。
• 定义并估计稳定性边际，以捕捉在提示扰动下的局部敏感性。
• 在包含子宫和膀胱分割的两个女性盆腔MRI数据集上演示该框架。

提出的方法

• 将提示依赖性表述为提示歧义与局部敏感性之间的方差分解。
• 用条件MDN对有效提示分布 P_valid(b|I) 建模，以估计提示歧义 U_amb = tr(Cov_p_theta(b|x))。
• 在参考提示周围定义扰动 delta，并将稳定性边际 delta* 定义为跨越掩膜不一致阈值 tau 的最小扰动。
• 训练稳定性边际预测器 r_psi，以快速近似 delta*(I,b)，无需迭代采样。
• 通过从 p_theta(b|x) 采样 1000 个提示并聚合得到的掩膜，计算像素级不确定性图，得到与边界对齐的熵图。
• 在两种基于 SAM 的架构（MobileSAM、MedSAM）和两组盆腔MRI数据集（UT-EndoMRI、MOGaMBO）上进行评估。

实验结果

研究问题

• RQ1 提示歧义与局部敏感性是否可分离，从而为医疗MRI中的可提示分割提供可解释的鲁棒性评估？
• RQ2 图像条件下的提示分布如何与像素级不确定性和分割质量相关？
• RQ3 提示歧义与局部敏感性是否与 Dice 分数相关，且二者是否高度独立？
• RQ4 稳定性边际预测器能否高效近似实现改变分割所需的最小提示扰动？
• RQ5 所提 metric 是否有助于识别和描述基于提示的医疗分割中的失败模式？

主要发现

• 提示歧义与局部敏感性之间的互相关性低，支持它们的解耦解读。
• 在两组数据集和两种模型上，较高的提示歧义和较高的局部敏感性与较低的 Dice 分数相关，指示分割质量下降。
• 条件MDN 能准确捕捉合理提示，并使像素级不确定性图与分割错误对齐。
• 稳定性边际与分割鲁棒性相关，较大的 delta* 表示提示更鲁棒。
• 基于条件提示分布推导的不确定性图提供空间上连贯、与边界对齐的不确定性。
• 该框架揭示了数据集和模型在提示依赖性如何影响性能方面的差异。