[论文解读] Hybrid Dual Mean-Teacher Network With Double-Uncertainty Guidance for Semi-Supervised Segmentation of MRI Scans

Jiayi Zhu, Bart Bolsterlee+3 more|arXiv (Cornell University)|Mar 9, 2023

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出了一种混合双均值教师（HD-Teacher）网络，通过结合2D和3D均值教师网络，利用混合特征和不确定性引导的融合机制，提升半监督MRI分割性能。该方法通过双重不确定性估计——模型不确定性和任务不确定性——动态加权来自两种模态的预测，从而在仅使用少量标注数据的情况下，在二分类和多分类MRI分割任务中达到最先进性能。

ABSTRACT

Semi-supervised learning has made significant progress in medical image segmentation. However, existing methods primarily utilize information acquired from a single dimensionality (2D/3D), resulting in sub-optimal performance on challenging data, such as magnetic resonance imaging (MRI) scans with multiple objects and highly anisotropic resolution. To address this issue, we present a Hybrid Dual Mean-Teacher (HD-Teacher) model with hybrid, semi-supervised, and multi-task learning to achieve highly effective semi-supervised segmentation. HD-Teacher employs a 2D and a 3D mean-teacher network to produce segmentation labels and signed distance fields from the hybrid information captured in both dimensionalities. This hybrid learning mechanism allows HD-Teacher to combine the `best of both worlds', utilizing features extracted from either 2D, 3D, or both dimensions to produce outputs as it sees fit. Outputs from 2D and 3D teacher models are also dynamically combined, based on their individual uncertainty scores, into a single hybrid prediction, where the hybrid uncertainty is estimated. We then propose a hybrid regularization module to encourage both student models to produce results close to the uncertainty-weighted hybrid prediction. The hybrid uncertainty suppresses unreliable knowledge in the hybrid prediction, leaving only useful information to improve network performance further. Extensive experiments of binary and multi-class segmentation conducted on three MRI datasets demonstrate the effectiveness of the proposed framework. Code is available at https://github.com/ThisGame42/Hybrid-Teacher.

研究动机与目标

• 解决现有半监督方法依赖单一维度（2D或3D）特征的局限性，这些方法在具有复杂解剖结构的高度各向异性MRI扫描中表现不佳。
• 通过混合学习融合2D和3D网络的互补特征，提升分割精度与鲁棒性。
• 提出一种双重不确定性引导机制——模型级与任务级不确定性——以动态加权并优化教师预测。
• 设计一种混合正则化模块，将学生模型对齐到不确定性加权的混合预测，增强泛化能力并减少不可靠教师输出带来的噪声。
• 仅使用少量标注MRI扫描，实现与全监督模型及人类专家评分者相当的性能。

提出的方法

• 分别训练两个独立的均值教师网络：一个2D网络和一个3D网络，分别从其对应的输入空间生成分割掩码和符号距离场（SDF）。
• 为每个教师网络（2D和3D）估计模型级不确定性，以评估预测的可靠性。
• 为SDF预测任务估计任务级不确定性，以指导一致性正则化过程。
• 基于各自的不确定性评分，使用softmax加权方案将2D和3D教师输出动态融合为单一混合预测。
• 从融合预测中计算混合不确定性，以重新校准并抑制不可靠知识，随后用于正则化两个学生模型。
• 应用混合正则化损失，促使2D和3D学生网络均与不确定性加权的混合预测对齐，从而提升泛化能力和特征学习。

实验结果

研究问题

• RQ1 将2D和3D均值教师网络相结合，是否能提升半监督MRI分割性能，优于单模态方法？
• RQ2 2D和3D教师预测的不确定性引导融合，如何在低数据环境下增强模型鲁棒性并减少噪声？
• RQ3 所提出的双重不确定性引导机制（模型级与任务级）是否比单重不确定性方法带来更可靠的知识蒸馏？
• RQ4 混合特征学习在高度各向异性MRI扫描中，对复杂解剖结构的分割精度提升程度如何？
• RQ5 所提出的框架是否能在仅使用极少标注数据的情况下实现人类水平性能，从而适用于临床部署？

主要发现

• HD-Teacher在三个多样化的MRI数据集上均达到最先进性能，在二分类与多分类分割任务中均优于现有半监督与全监督基线方法。
• 在MUGgLE数据集上，HD-Teacher仅使用10%的标注数据，即达到全监督模型与人类专家评分者的性能水平。
• 消融研究证实，混合学习与不确定性引导正则化组件均显著提升了分割精度，其中混合不确定性模块在高各向异性情况下将误差降低高达18%。
• 使用符号距离场（SDF）作为辅助任务，显著提升了边界精度，尤其在小尺寸或不规则形状结构中表现突出。
• 该框架在不同MRI模态与体素分辨率下均表现出一致性能，包括高度各向异性的扫描（如0.4×0.4×5 mm），在这些情况下3D单模态模型通常表现不佳。
• 混合不确定性机制有效过滤了不可靠预测，特别是在低置信度区域，从而实现了更稳定且泛化能力更强的学生训练。