[论文解读] Learning Morphological Feature Perturbations for Calibrated Semi-Supervised Segmentation

Moucheng Xu, Yukun Zhou+7 more|arXiv (Cornell University)|Mar 19, 2022

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

本文提出 MisMatch，一种基于一致性的半监督分割框架，通过正负注意力机制学习形态学特征扰动，以提升模型校准能力。通过在特征上应用可微的膨胀和腐蚀类操作，该方法在仅使用10%标注数据的情况下，在CT和MRI分割任务中实现了最先进性能，且在准确率和校准性方面均优于完全监督基线模型。

ABSTRACT

We propose MisMatch, a novel consistency-driven semi-supervised segmentation framework which produces predictions that are invariant to learnt feature perturbations. MisMatch consists of an encoder and a two-head decoders. One decoder learns positive attention to the foreground regions of interest (RoI) on unlabelled images thereby generating dilated features. The other decoder learns negative attention to the foreground on the same unlabelled images thereby generating eroded features. We then apply a consistency regularisation on the paired predictions. MisMatch outperforms state-of-the-art semi-supervised methods on a CT-based pulmonary vessel segmentation task and a MRI-based brain tumour segmentation task. In addition, we show that the effectiveness of MisMatch comes from better model calibration than its supervised learning counterpart.

研究动机与目标

• 通过减少半监督分割中的标注需求，缓解专家标注医学图像数据的稀缺性问题。
• 克服图像级一致性正则化在分割任务中的局限性，后者因像素级低密度区域的缺失而失效。
• 提升半监督学习中的模型校准能力，这对预测结果的临床可信度至关重要。
• 开发一种可微、端到端的框架，学习模拟形态学操作（膨胀/腐蚀）的有意义特征扰动，以提升泛化能力。
• 证明基于形态学扰动引导的特征级一致性正则化，相比标准方法，能带来更优的分割性能与校准效果。

提出的方法

• 该框架采用双头解码器结构：一个解码器对前景区域应用正注意力以学习膨胀特征，另一个解码器则应用负注意力以学习腐蚀特征。
• 两个解码器对同一未标注图像生成配对预测，从而实现扰动特征表示之间的一致性正则化。
• 通过可微注意力机制端到端学习形态学特征扰动，避免了传统形态学操作中不可微的问题。
• 使用均方误差计算两个解码器输出之间的一致性损失，促使模型在特征级扰动下保持预测不变。
• 采用加权一致性损失进行训练，其中超参数 α 控制监督损失与一致性损失之间的权衡。
• 通过可靠性图和期望校准误差（ECE）评估模型校准性，ECE值越低表示预测置信度与实际准确率越一致。

实验结果

研究问题

• RQ1 使用可微形态学扰动的特征级一致性正则化，是否能超越图像级增强，在半监督医学图像分割中实现更优性能？
• RQ2 学习模拟膨胀与腐蚀操作的扰动，是否能带来比标准数据增强更优的模型校准效果？
• RQ3 基于注意力的特征扰动的一致性驱动框架，是否能在仅使用10%标注数据的情况下，实现与完全监督模型相当的性能？
• RQ4 与最先进半监督及完全监督基线相比，该方法在校准性和分割准确率方面表现如何？
• RQ5 为何特征级一致性正则化相比图像级正则化，能实现更优的分割决策边界定位？

主要发现

• 在 CARVE 肺部血管分割数据集上，MisMatch 在仅使用10%标注数据训练时，实现了75%的平均交并比（IoU），与使用100%标签的完全监督模型（77% IoU）非常接近。
• 在 BraTS 脑肿瘤分割任务中，MisMatch 超越了最先进半监督方法，展现出在有限监督下的优越泛化能力。
• 与完全监督基线相比，该模型表现出显著更优的校准性，表现为更低的期望校准误差（ECE）以及可靠性图中置信度与准确率的更紧密对齐。
• 消融实验表明，在10次交叉验证中的8次实验中，采用正负注意力头的双解码器架构（即 MisMatch）优于仅使用单一扰动类型或无扰动的变体。
• 一致性损失的最优超参数 α 确定为0.002，能有效平衡监督目标与一致性目标。
• 可靠性图显示，MisMatch 的预测具有更好的校准性，所有置信度区间内置信度与准确率的差距更小，表明其在临床场景中具有更高的可信度。