[论文解读] Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer

Xiangde Luo, Minhao Hu+3 more|arXiv (Cornell University)|Dec 9, 2021

Radiomics and Machine Learning in Medical Imaging被引用 99

一句话总结

本论文提出一个跨教师框架，其中 CNN 和 Transformer 在带标签数据上互相监督，并为未标注数据提供伪标签，在强大半监督分割性能方面取得进展。它首次在医疗图像分割中尝试将 CNN 与 Transformer 搭配进行半监督，并在 ACDC 基准上相比八个基线有改进。

ABSTRACT

Recently, deep learning with Convolutional Neural Networks (CNNs) and Transformers has shown encouraging results in fully supervised medical image segmentation. However, it is still challenging for them to achieve good performance with limited annotations for training. In this work, we present a very simple yet efficient framework for semi-supervised medical image segmentation by introducing the cross teaching between CNN and Transformer. Specifically, we simplify the classical deep co-training from consistency regularization to cross teaching, where the prediction of a network is used as the pseudo label to supervise the other network directly end-to-end. Considering the difference in learning paradigm between CNN and Transformer, we introduce the Cross Teaching between CNN and Transformer rather than just using CNNs. Experiments on a public benchmark show that our method outperforms eight existing semi-supervised learning methods just with a simpler framework. Notably, this work may be the first attempt to combine CNN and transformer for semi-supervised medical image segmentation and achieve promising results on a public benchmark. The code will be released at: https://github.com/HiLab-git/SSL4MIS.

研究动机与目标

• 在标注成本高的医疗影像中激发半监督分割的研究动机。
• 提出一个简单的 CNN 与 Transformer 的跨教学方案，以利用未标注数据。
• 在一个统一的训练框架中发挥 CNN（局部特征）与 Transformer（全局上下文）的互补优势。
• 通过在公开基准上超过多种现有半监督方法来证明有效性。

提出的方法

• 对每张图像计算来自 CNN (f^c) 与 Transformer (f^t) 的预测。
• 通过对方预测的 argmax 生成伪标签（pl^c 来自 f^t，pl^t 来自 f^c）。
• 对未标注数据使用双向跨教学损失进行训练，在预测与伪标签之间使用 Dice 损失（L_ctl = L_dice(p^c, pl^c) + L_dice(p^t, pl^t)）。
• 将带标签数据的监督损失（L_sup = L_ce(p, y) + L_dice(p, y)）与跨教学损失结合起来（L_total = L_sup + λ L_ctl）。
• 在训练过程中对 λ 采用时间相关的高斯预热，以平衡监督项和半监督项。

实验结果

研究问题

• RQ1 在标注有限的情况下，CNN 与 Transformer 的跨教学是否可以提供鲁棒的半监督分割？
• RQ2 在这一设置中，跨教学是否比传统的一致性正则化方法带来更好的伪标签和分割精度？
• RQ3 在医疗影像分割性能方面，使用 CNN–Transformer 跨教学与同架构方法相比有何影响？
• RQ4 在跨教学框架下，Dice 损失相较于交叉熵损失在半监督分割中的表现如何？

主要发现

• 提出的 CNN–Transformer 跨教学框架在 ACDC 基准上优于八种现有的半监督方法。
• CNN 与 Transformer 的跨教学产生的结果优于单独使用任一架构或一致性正则化基线。
• 在跨教学中使用 Dice 损失（单独使用或与 CE 搭配）比使用单一损失类型更有提升，组合 CE+DICE 呈现出细微的效果。
• 在某些半监督场景下 Transformer 单独即可具竞争力，但 CNN–Transformer 跨教学实现了更优的平均性能和稳定性。
• 该方法依赖简单、低复杂度的训练，采用通用组件，并且推理阶段不需要复杂的后处理。