[论文解读] Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation

Jinxi Xiang, Zhuowei Li+3 more|arXiv (Cornell University)|May 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 19被引用 11

一句话总结

该论文提出自编码对比学习（SECL），一种半监督医学图像分割方法，通过结合图像级监督损失与利用未标注数据的特征级对比损失，实现性能提升。通过采用指数移动平均更新的师生网络架构以及解剖结构感知的对比采样策略，SECL在标注数据有限的MRI和CT分割基准上取得了最先进性能，显著提升了特征的紧凑性与可分性。

ABSTRACT

Deep learning has demonstrated significant improvements in medical image segmentation using a sufficiently large amount of training data with manual labels. Acquiring well-representative labels requires expert knowledge and exhaustive labors. In this paper, we aim to boost the performance of semi-supervised learning for medical image segmentation with limited labels using a self-ensembling contrastive learning technique. To this end, we propose to train an encoder-decoder network at image-level with small amounts of labeled images, and more importantly, we learn latent representations directly at feature-level by imposing contrastive loss on unlabeled images. This method strengthens intra-class compactness and inter-class separability, so as to get a better pixel classifier. Moreover, we devise a student encoder for online learning and an exponential moving average version of it, called teacher encoder, to improve the performance iteratively in a self-ensembling manner. To construct contrastive samples with unlabeled images, two sampling strategies that exploit structure similarity across medical images and utilize pseudo-labels for construction, termed region-aware and anatomical-aware contrastive sampling, are investigated. We conduct extensive experiments on an MRI and a CT segmentation dataset and demonstrate that in a limited label setting, the proposed method achieves state-of-the-art performance. Moreover, the anatomical-aware strategy that prepares contrastive samples on-the-fly using pseudo-labels realizes better contrastive regularization on feature representations.

研究动机与目标

• 在标注数据有限的条件下，提升半监督医学图像分割的性能。
• 通过在未标注图像上应用对比损失，增强特征级表示学习。
• 利用解剖与结构先验，解决医学图像分割中构建有意义正负样本的挑战。
• 通过师生框架实现自集成，以稳定并提升表示学习。
• 在真实医学影像场景中验证区域感知与解剖感知对比采样策略的有效性。

提出的方法

• 提出一种自集成对比学习框架，联合优化图像级监督损失与特征级对比损失。
• 采用师生编码器架构，其中教师网络通过学生网络权重的指数移动平均（EMA）实现训练稳定。
• 对未标注图像的增强视图应用对比损失，以在特征空间中实现类内紧凑性与类间可分性。
• 引入两种对比采样策略：基于结构相似性的区域感知策略，以及利用伪标签进行空间引导的解剖感知策略。
• 通过t-SNE可视化验证解剖感知策略下特征表示聚类的改善。
• 采用渐进式调度策略调整对比损失系数λ，逐步增强其在训练中的影响。

实验结果

研究问题

• RQ1 当与图像级监督结合时，特征级对比学习是否能提升半监督医学图像分割性能？
• RQ2 通过师生框架实现的自集成在低监督设置下如何增强表示学习？
• RQ3 在医学图像中，区域感知与解剖感知对比采样策略中，哪种策略能产生更好的特征判别能力？
• RQ4 基于实时伪标签引导的采样是否比基于结构的采样产生更鲁棒、更具泛化能力的表示？
• RQ5 对比正则化是否能与现有的一致性正则化半监督学习方法互补，从而提升分割精度？

主要发现

• 在标注数据有限的条件下，SECL在MRI与CT分割数据集上均达到最先进性能，采用解剖感知策略时，MMWHS-2017数据集上LV、RV与AO结构的Dice分数分别为0.8535、0.7708与0.8667。
• 解剖感知对比采样策略优于区域感知策略，在LA结构上Dice分数提升3.5%，在WHS整体上提升1.5%。
• 自集成机制中α=0.9时达到最佳平衡：α=0.99导致适应过慢，而α=0则引发训练不稳定与性能下降。
• t-SNE可视化结果表明，采用解剖感知采样策略的SECL能生成在解剖结构上更紧凑、更清晰分离的特征聚类。
• 对比损失显著提升了特征表示质量，表现为聚类更优且Hausdorff距离（HD）更低——SECL（AACS）在LV结构上达到3.708 mm的HD，优于Mean Teacher方法的6.467 mm。
• 消融实验表明，特征级对比学习至关重要：若移除该模块性能下降；而师生机制则有助于稳定训练并提升收敛性。