[论文解读] BayeSeg: Bayesian Modeling for Medical Image Segmentation with Interpretable Generalizability

Shangqi Gao, Hangqi Zhou+2 more|arXiv (Cornell University)|Mar 3, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

BayeSeg 提出了一种深度贝叶斯分割框架，通过分层贝叶斯先验将医学图像分解为域不变的形状与域特定的外观成分，实现了可解释性、可泛化的分割。通过变分推断建模标签统计，该方法在跨序列、跨模态和跨站点的分布偏移下，实现了前列腺和心脏MRI分割的最先进泛化性能。

ABSTRACT

Due to the cross-domain distribution shift aroused from diverse medical imaging systems, many deep learning segmentation methods fail to perform well on unseen data, which limits their real-world applicability. Recent works have shown the benefits of extracting domain-invariant representations on domain generalization. However, the interpretability of domain-invariant features remains a great challenge. To address this problem, we propose an interpretable Bayesian framework (BayeSeg) through Bayesian modeling of image and label statistics to enhance model generalizability for medical image segmentation. Specifically, we first decompose an image into a spatial-correlated variable and a spatial-variant variable, assigning hierarchical Bayesian priors to explicitly force them to model the domain-stable shape and domain-specific appearance information respectively. Then, we model the segmentation as a locally smooth variable only related to the shape. Finally, we develop a variational Bayesian framework to infer the posterior distributions of these explainable variables. The framework is implemented with neural networks, and thus is referred to as deep Bayesian segmentation. Quantitative and qualitative experimental results on prostate segmentation and cardiac segmentation tasks have shown the effectiveness of our proposed method. Moreover, we investigated the interpretability of BayeSeg by explaining the posteriors and analyzed certain factors that affect the generalization ability through further ablation studies. Our code will be released via https://zmiclab.github.io/projects.html, once the manuscript is accepted for publication.

研究动机与目标

• 解决在不同成像序列、模态和站点之间医学图像分割中的分布偏移挑战。
• 在不依赖领域特定数据增强或大规模标注数据集的情况下，提升模型在未见领域上的泛化能力。
• 通过统计先验显式建模解剖形状作为域不变因子，增强可解释性。
• 构建联合图像与标签统计建模框架，支持不确定性估计和因果感知表征学习。
• 通过后验解释提供可解释的分割预测，以增强临床信任和监管合规性。

提出的方法

• 将每张医学图像分解为两个潜在变量：空间相关联的形状变量（域不变）和空间可变的外观变量（域特定）。
• 为形状和外观成分分配分层贝叶斯先验，强制形状成分捕捉跨域的稳定解剖结构。
• 将分割掩码建模为形状变量的局部平滑函数，确保空间一致性和可解释性。
• 基于高斯马尔可夫随机场的生成过程，建立图像、外观、形状和分割标签的联合概率模型。
• 通过变分贝叶斯框架结合神经网络实现后验推断，支持端到端训练和不确定性量化。
• 使用 t-SNE 可视化和消融研究验证所学习形状表征的域不变性及其对泛化的影响。

实验结果

研究问题

• RQ1 显式建模形状作为域不变因子是否能提升跨域医学图像分割的泛化性能？
• RQ2 对图像和标签统计的分层贝叶斯先验建模在提升可解释性和对分布偏移的鲁棒性方面有何作用？
• RQ3 与标准深度学习基线相比，分离外观与形状成分在多大程度上提升了泛化性能？
• RQ4 形状和外观成分的后验分布是否可被有意义地解释以说明模型预测？
• RQ5 哪些因素——如与解剖相关或与解剖无关的偏移——会影响基于形状的分割泛化性能？

主要发现

• BayeSeg 在 LGE 序列（源域）上达到 80.9 ± 6.8% 的 Dice 分数，在 T2 序列（目标域）上达到 79.4 ± 10.2%，在跨序列泛化任务中优于所有消融基线。
• 该方法在 T2 序列上的泛化性能（79.4 ± 10.2% Dice）优于消融 #6（79.1 ± 10.9%），证实了联合图像-标签建模与显式形状先验的优势。
• t-SNE 可视化显示，BayeSeg 的形状表征相比原始图像特征，显著减少了域间偏移，尤其在 LGE 与 T2 序列之间表现明显。
• 消融研究证实，联合建模图像与标签统计可提升泛化性能，完整模型优于省略形状先验或标签平滑的变体。
• 后验分布的解释表明，形状成分在不同域间保持稳定，而外观成分则捕捉了模态特异性变化。
• 尽管形状具有强域不变性，T2 序列上的最差表现归因于高解剖相关偏移，表明当前形状建模尚未完全消除解剖可变性。