[论文解读] Deep Co-Training for Semi-Supervised Image Segmentation

Jizong Peng, Guillermo Estrada+2 more|arXiv (Cornell University)|Mar 27, 2019

Advanced Neural Network Applications参考文献 53被引用 12

一句话总结

本文提出了一种用于半监督语义图像分割的深度对抗协同训练框架，其中两个深度分割模型通过标注数据和未标注图像联合训练，并通过对抗样本实现模型多样性。该方法通过利用模型一致性与受控的预测差异，在医学图像分割基准上实现了最先进性能。

ABSTRACT

In this paper, we aim to improve the performance of semantic image segmentation in a semi-supervised setting in which training is effectuated with a reduced set of annotated images and additional non-annotated images. We present a method based on an ensemble of deep segmentation models. Each model is trained on a subset of the annotated data, and uses the non-annotated images to exchange information with the other models, similar to co-training. Even if each model learns on the same non-annotated images, diversity is preserved with the use of adversarial samples. Our results show that this ability to simultaneously train models, which exchange knowledge while preserving diversity, leads to state-of-the-art results on two challenging medical image datasets.

研究动机与目标

• 解决语义分割中因人工标注耗时且昂贵而导致的标注医学图像有限的问题。
• 通过有效利用大量未标注图像与少量标注图像，在半监督设置下提升分割性能。
• 通过引入专为密集预测任务（如图像分割）设计的协同训练框架，克服现有半监督方法的局限性。
• 不依赖预定义的互补视图，而是利用对抗样本作为模型异步机制，实现集成模型间的多样性。
• 证明结合模型一致性（协同训练）与多样性正则化在提升基准数据集泛化能力与性能方面的有效性。

提出的方法

• 并行训练两个深度全卷积神经网络（FCNs），使用共享的标注图像集和更大的未标注图像集。
• 使用协同训练损失（$\mathcal{L}_{\mathrm{cot}}$）促使两个模型在未标注图像上的预测保持一致，从而提升泛化能力。
• 通过对抗多样性损失（$\mathcal{L}_{\mathrm{div}}$）强制模型多样性，该损失最小化在来自标注数据和未标注数据的对抗样本上的预测一致性。
• 通过施加微小扰动 $\epsilon$（例如 $\epsilon = 0.001$）生成对抗样本，创建与原始图像接近但引发预测分歧的输入。
• 在训练过程中采用渐升策略，初期优先考虑监督损失（$\mathcal{L}_{\mathrm{sup}}$）并逐步平衡协同训练损失与多样性损失。
• 使用 $L_1$ 范数衡量并可视化预测分歧，特别是在边界区域以及心肌等难分割区域。

实验结果

研究问题

• RQ1 协同训练能否有效从分类任务扩展到语义图像分割等密集预测任务？
• RQ2 在半监督分割框架中，如何在不依赖预定义互补视图的情况下有效强制模型多样性？
• RQ3 在分割设置中，使用对抗样本是否能同时提升干净数据上的模型一致性与扰动输入上的多样性？
• RQ4 协同训练与多样性正则化的结合相较于现有最先进方法（如伪标签、VAT 和均值教师）表现如何？
• RQ5 集成模型数量对性能的影响程度如何？在超过两个模型后是否存在收益递减现象？

主要发现

• 所提方法在两个具有挑战性的医学图像分割基准上优于近期最先进半监督分割方法，包括伪标签、VAT 和均值教师。
• 在 ACDC 数据集上，该方法在左心室的 Dice 相似系数（DSC）达到 0.876，显著优于基线方法。
• 多样性损失（$\mathcal{L}_{\mathrm{div}}$）有效在图像边界及难分割区域（如左心室心肌和右心室内膜）诱导预测分歧。
• 使用 $\epsilon = 0.001$ 生成的对抗样本成功引发两模型间的预测分歧，证实其在强制多样性方面的作用。
• 损失加权的渐升策略提升了训练稳定性和性能，尽管仍需超参数调优。
• 将模型数量增加至两个以上带来的性能增益有限，表明即使仅使用两个模型，该多样性机制也已足够有效。