[论文解读] Anatomically-aware Uncertainty for Semi-supervised Image Segmentation

Sukesh Adiga V, José Dolz+1 more|arXiv (Cornell University)|Oct 24, 2023

Advanced X-ray and CT Imaging被引用 5

一句话总结

本文提出了一种用于半监督医学图像分割的解剖结构感知不确定性估计方法，通过利用全局解剖结构表征在单次前向传播中引导不确定性估计，降低了计算成本，同时在心脏MRI和腹部CT数据集上相比最先进方法提升了分割精度。

ABSTRACT

Semi-supervised learning relaxes the need of large pixel-wise labeled datasets for image segmentation by leveraging unlabeled data. A prominent way to exploit unlabeled data is to regularize model predictions. Since the predictions of unlabeled data can be unreliable, uncertainty-aware schemes are typically employed to gradually learn from meaningful and reliable predictions. Uncertainty estimation methods, however, rely on multiple inferences from the model predictions that must be computed for each training step, which is computationally expensive. Moreover, these uncertainty maps capture pixel-wise disparities and do not consider global information. This work proposes a novel method to estimate segmentation uncertainty by leveraging global information from the segmentation masks. More precisely, an anatomically-aware representation is first learnt to model the available segmentation masks. The learnt representation thereupon maps the prediction of a new segmentation into an anatomically-plausible segmentation. The deviation from the plausible segmentation aids in estimating the underlying pixel-level uncertainty in order to further guide the segmentation network. The proposed method consequently estimates the uncertainty using a single inference from our representation, thereby reducing the total computation. We evaluate our method on two publicly available segmentation datasets of left atria in cardiac MRIs and of multiple organs in abdominal CTs. Our anatomically-aware method improves the segmentation accuracy over the state-of-the-art semi-supervised methods in terms of two commonly used evaluation metrics.

研究动机与目标

• 解决现有半监督医学图像分割不确定性估计方法中存在的高计算成本和解剖上下文信息有限的问题。
• 通过将全局解剖结构信息融入不确定性估计，而非仅依赖局部像素级方差，以提升分割性能。
• 通过学习单一、合理的解剖结构表征来减少对多次前向传播（如蒙特卡洛丢弃）的依赖，从而实现不确定性估计。
• 生成更具临床意义的不确定性图，突出显示模糊边界或标注者特定切口等区域，而非仅关注高梯度边缘。
• 通过最小化推理开销，在保持或提升分割精度的同时，实现高效、可扩展的半监督训练。

提出的方法

• 使用深度自编码器类架构，从一组真实分割掩码中学习解剖结构感知表征。
• 将模型预测映射到该解剖结构表征上，以生成解剖上合理的分割结果，预测与合理掩码之间的偏差表示不确定性。
• 使用预测分割与合理分割之间的L2距离作为像素级不确定性的代理，仅通过一次前向传播计算。
• 通过一致性正则化损失将不确定性图整合到训练目标中，引导分割网络关注可靠区域。
• 采用均值教师框架，将解剖结构感知不确定性作为未标注数据的动态加权机制。
• 在解剖结构表征的潜在空间中注入噪声，以提升合理分割映射的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 全局解剖结构表征是否能在半监督医学图像分割中超越局部像素级方差，提升不确定性估计性能？
• RQ2 基于解剖合理性实现的单次前向传播不确定性估计方法，是否在准确性和效率上优于基于熵的多前向传播方法？
• RQ3 解剖结构感知的不确定性是否能更好地突出显示临床相关区域（如模糊边界或标注者特定切口），而非仅关注高梯度边缘？
• RQ4 将解剖结构感知不确定性整合后，分割性能在不同标签稀缺场景（如10%和20%标注数据）下的表现如何？
• RQ5 该解剖结构表征在不同成像模态或数据集的数据增强下，是否具备良好的泛化或增强潜力？

主要发现

• 所提方法在心脏MRI左心房和CT腹部器官数据集中均达到最先进性能，Dice和HD95指标优于现有半监督方法。
• 该方法通过每轮训练仅需一次前向传播完成不确定性估计，显著降低了计算成本，相比MCDO或集成方法更快。
• 所生成的不确定性图能准确定位到困难区域，如不清晰的解剖边界和标注者特定切口（如肺静脉），而非仅聚焦于高梯度边缘。
• 消融实验证明，在解剖结构表征的潜在空间中注入噪声可提升分割精度，表明对分布偏移具有鲁棒性。
• 解剖结构感知表征与图像内容无关，可通过来自多样化数据集的额外分割掩码进行增强，表明具备跨模态泛化潜力。
• 即使在标签数据有限的情况下，该方法仍保持卓越性能，展现出在低监督设置下的强泛化能力。