[论文解读] FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation

Pratima Upretee, Bishesh Khanal|arXiv (Cornell University)|Jul 31, 2022

Radiomics and Machine Learning in Medical Imaging被引用 7

一句话总结

FixMatchSeg 将 FixMatch 半监督分类框架适配至医学影像语义分割任务，通过应用强数据增强的一致性正则化与伪标签方法。该方法在仅使用少量标注图像的情况下，在四个多样化的医学影像数据集上实现了与监督基线相当的性能，尤其在 REFUGE 视网膜眼底图像数据集中，Dice 分数相较监督基线最高提升 27%，展现出在低数据场景下的显著优势。

ABSTRACT

Supervised deep learning methods for semantic medical image segmentation are getting increasingly popular in the past few years.However, in resource constrained settings, getting large number of annotated images is very difficult as it mostly requires experts, is expensive and time-consuming.Semi-supervised segmentation can be an attractive solution where a very few labeled images are used along with a large number of unlabeled ones. While the gap between supervised and semi-supervised methods have been dramatically reduced for classification problems in the past couple of years, there still remains a larger gap in segmentation methods. In this work, we adapt a state-of-the-art semi-supervised classification method FixMatch to semantic segmentation task, introducing FixMatchSeg. FixMatchSeg is evaluated in four different publicly available datasets of different anatomy and different modality: cardiac ultrasound, chest X-ray, retinal fundus image, and skin images. When there are few labels, we show that FixMatchSeg performs on par with strong supervised baselines.

研究动机与目标

• 为解决低资源临床环境中专家标注成本高、耗时长的医学图像标注数据有限问题。
• 将强大的 FixMatch 半监督分类方法适配至医学影像中更复杂的语义分割任务。
• 评估在仅提供少量标注图像时，一种简单、端到端的半监督方法是否能超越监督基线。
• 探究数据集特异性性能差异，以及数据多样性、增强策略、形状/纹理偏差对半监督分割的影响。

提出的方法

• 通过在未标注图像上应用强增强，并强制弱增强与强增强预测之间的一致性，将 FixMatch 的一致性正则化与伪标签策略适配至语义分割任务。
• 采用学生-教师框架，其中教师模型为未标注图像生成伪标签，随后用于训练学生模型。
• 应用置信度阈值（τ）过滤低置信度伪标签，确保仅使用高质量预测参与训练。
• 结合交叉熵损失与一致性损失，后者用于惩罚同一图像在不同增强下预测结果的差异。
• 采用标准数据增强策略，如随机裁剪、颜色抖动与水平翻转，分别应用于弱增强与强增强。
• 使用标注数据与伪标注数据端到端联合训练模型，损失函数通过超参数 λu 加权，以平衡监督信号与无监督信号。

实验结果

研究问题

• RQ1 FixMatch 半监督学习框架能否成功适配至医学影像中的语义分割任务？
• RQ2 在多种医学影像领域中，仅使用少量标注图像时，FixMatchSeg 相较于监督基线的性能表现如何？
• RQ3 影响 FixMatchSeg 在不同数据集上性能提升的因素有哪些，例如图像模态、解剖结构及纹理/形状偏差？
• RQ4 FixMatchSeg 的性能是否依赖于标注数据与未标注数据的比例？其性能是否在未标注数据量增加时趋于饱和？
• RQ5 数据增强、伪标签置信度阈值以及模型初始化方式（随机初始化 vs. 预训练）如何影响最终分割精度？

主要发现

• 在 CAMUS 超声心动图数据集中，FixMatchSeg 仅使用 100 张标注图像即达到 0.9447 的 Dice 分数，优于使用 1624 张标注图像的监督 U-Net 基线。
• 在 REFUGE 视网膜眼底图像数据集中，FixMatchSeg 使用 100 张标注图像与 400 张未标注图像，Dice 分数达到 0.85，而相同标注数据量的监督基线仅为 0.58。
• 在 ISIC 2017 皮肤病变数据集中，FixMatchSeg 将监督基线的 Dice 分数从 0.74（使用预训练模型）提升至 0.76，显示出稳定但适中的性能增益。
• 在 SCR 胸部 X 光数据集中，FixMatchSeg 使用 100 张标注图像与 100 张未标注图像，Dice 分数达到 0.87，较监督基线提升 0.01。
• 该方法在具有高形状规则性（如心脏与肺部）的数据集中表现出显著性能提升，在纹理丰富但形状不规则的结构（如皮肤病变）中实现中等程度增益，表明其对解剖与纹理特征具有敏感性。
• FixMatchSeg 相较于监督基线的性能提升在数据多样性高且形状/纹理要求复杂的场景（如 REFUGE）中最为显著，表明未标注数据的多样性在性能增益中起关键作用。