[论文解读] CycleMix: A Holistic Strategy for Medical Image Segmentation from Scribble Supervision

Ke Zhang, Xiahai Zhuang|arXiv (Cornell University)|Mar 3, 2022

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

CycleMix 提出了一种新颖的自监督学习框架，用于仅使用涂鸦标注的医学图像分割，通过循环一致的混合增强来提高模型的泛化能力和一致性。通过在图像混合过程中最大化标注像素的覆盖范围，并强制执行全局和局部的循环一致性，该方法实现了与全监督模型相当或更优的性能，显著减少了标注负担。

ABSTRACT

Curating a large set of fully annotated training data can be costly, especially for the tasks of medical image segmentation. Scribble, a weaker form of annotation, is more obtainable in practice, but training segmentation models from limited supervision of scribbles is still challenging. To address the difficulties, we propose a new framework for scribble learning-based medical image segmentation, which is composed of mix augmentation and cycle consistency and thus is referred to as CycleMix. For augmentation of supervision, CycleMix adopts the mixup strategy with a dedicated design of random occlusion, to perform increments and decrements of scribbles. For regularization of supervision, CycleMix intensifies the training objective with consistency losses to penalize inconsistent segmentation, which results in significant improvement of segmentation performance. Results on two open datasets, i.e., ACDC and MSCMRseg, showed that the proposed method achieved exhilarating performance, demonstrating comparable or even better accuracy than the fully-supervised methods. The code and expert-made scribble annotations for MSCMRseg are publicly available at https://github.com/BWGZK/CycleMix.

研究动机与目标

• 通过仅使用涂鸦级监督来减少医学图像分割中的标注负担。
• 通过最大化标注像素的有效利用，提高在有限监督下的模型泛化能力和鲁棒性。
• 开发一种综合策略，结合数据增强和一致性正则化以提升分割性能。
• 实现在极少人工标注下的准确全分割预测，减少对密集标注的依赖。

提出的方法

• CycleMix 采用循环一致的混合策略，通过学习的运输矩阵将两张图像混合，以最大化混合图像中已标注像素的数量。
• 该方法使用加权损失函数，结合未混合样本和混合样本的监督损失，以及全局和局部一致性损失，以强制实现结构一致性。
• 运输矩阵 Π₁ᵀ 通过受 PuzzleMix 启发的交替优化方案进行优化，以最大化混合图像中的显著性。
• 全局一致性损失惩罚原始图像与重建图像之间不一致的预测，而局部一致性损失可防止分割结构出现断裂。
• 模型在 200 个周期内端到端训练，损失曲线显示其具有稳定的收敛性。

(a) The curves of weighted loss functions.

实验结果

研究问题

• RQ1 结合数据混合与循环一致性的综合策略是否能在涂鸦标注监督下提升分割性能？
• RQ2 通过混合增强提高标注像素比例，对模型泛化能力和准确率有何影响？
• RQ3 全局和局部一致性损失在稳定训练和提升分割质量方面起到什么作用？
• RQ4 为何所提出的方法优于现有自监督方法（如 TS-UNet 与 CRF 结合）？

主要发现

• 即使仅使用涂鸦标注进行训练，CycleMix 的性能仍可与全监督方法相当或更优。
• 训练过程稳定，所有损失组件均在 200 个周期内收敛，表明优化过程可靠。
• 全局一致性损失（ℒcon-g）最初因未标注样本预测不准确而上升，但在 50 个周期后开始下降，表明未标注数据中的知识蒸馏有效。
• 局部一致性损失（ℒcon-l）持续下降，表明预测结果的结构一致性得到改善。
• 该方法优于 TS-UNet 与 CRF 结合的方法，后者在自学习过程中因初始预测不准确而出现误差传播。

(b) $\mathcal{L}_{\text{mix}}$