[论文解读] Extreme Consistency: Overcoming Annotation Scarcity and Domain Shifts

Gaurav Fotedar, Nima Tajbakhsh+2 more|arXiv (Cornell University)|Apr 15, 2020

Retinal Imaging and Analysis参考文献 26被引用 6

一句话总结

本文提出了一种名为 Extreme Consistency 的简单、通用且多功能的半监督学习框架，通过使用极端数据增强的强一致性正则化来利用未标注数据。通过强制学生网络在经过重度增强的输入上的预测结果与教师网络在原始输入上的预测结果保持一致，该方法在病灶和视网膜血管分割任务中取得了最先进性能，在标注数据有限和领域分布偏移的基准测试中显著优于监督学习和近期的半监督模型。

ABSTRACT

Supervised learning has proved effective for medical image analysis. However, it can utilize only the small labeled portion of data; it fails to leverage the large amounts of unlabeled data that is often available in medical image datasets. Supervised models are further handicapped by domain shifts, when the labeled dataset, despite being large enough, fails to cover different protocols or ethnicities. In this paper, we introduce \emph{extreme consistency}, which overcomes the above limitations, by maximally leveraging unlabeled data from the same or a different domain in a teacher-student semi-supervised paradigm. Extreme consistency is the process of sending an extreme transformation of a given image to the student network and then constraining its prediction to be consistent with the teacher network's prediction for the untransformed image. The extreme nature of our consistency loss distinguishes our method from related works that yield suboptimal performance by exercising only mild prediction consistency. Our method is 1) auto-didactic, as it requires no extra expert annotations; 2) versatile, as it handles both domain shift and limited annotation problems; 3) generic, as it is readily applicable to classification, segmentation, and detection tasks; and 4) simple to implement, as it requires no adversarial training. We evaluate our method for the tasks of lesion and retinal vessel segmentation in skin and fundus images. Our experiments demonstrate a significant performance gain over both modern supervised networks and recent semi-supervised models. This performance is attributed to the strong regularization enforced by extreme consistency, which enables the student network to learn how to handle extreme variants of both labeled and unlabeled images. This enhances the network's ability to tackle the inevitable same- and cross-domain data variability during inference.

研究动机与目标

• 解决医学图像分析中因专家标注成本高昂而导致的标注数据稀缺这一关键挑战。
• 克服因成像协议、设备和种族差异导致的领域分布偏移问题，从而提升模型泛化能力。
• 开发一种半监督学习方法，有效利用大量未标注数据，且无需额外标注。
• 构建一种通用、与网络架构无关的框架，适用于分类、分割和检测任务，且实现开销极低。
• 通过多样化、随机的变换实现强正则化，强制模型具备不变性和等变性，从而增强对数据变异性的鲁棒性。

提出的方法

• 采用教师-学生半监督学习范式，其中教师网络处理原始、最小增强的图像，而学生网络处理同一图像的极端变换版本。
• 对学生网络的输入应用多样化的基于强度、几何变换以及图像混合的增强方法，变换概率基于先验分布确定。
• 通过最小化学生网络在变换输入上的输出与教师网络在原始输入上的输出之间的预测差异，实现极端一致性。
• 采用均值教师更新策略，稳定教师网络随时间的预测结果，从而提升一致性监督效果。
• 引入跨数据集图像混合变换，以扩展未标注数据的多样性，并增强模型在不同领域间的泛化能力。
• 将一致性损失应用于logits（分类任务）、分割掩码（分割任务）和显著性图（检测任务），从而实现跨任务的广泛适用性。

实验结果

研究问题

• RQ1 在标注数据有限和领域分布偏移条件下，一种简单且通用的半监督学习方法是否能实现在医学图像分割任务中的最先进性能？
• RQ2 与温和数据增强或标准一致性训练相比，使用高度变换输入的极端一致性正则化效果如何？
• RQ3 多样化变换类型（强度、几何、混合）对模型性能和训练稳定性有何贡献？
• RQ4 仅对学生的输入应用极端变换（而保持教师的输入为原始干净图像）与对称增强相比，是否能显著提升性能？
• RQ5 在真实世界医学影像场景中，极端一致性是否能超越监督基线模型和近期最先进半监督模型，尤其是在数据多样性与稀缺性共存的情况下？

主要发现

• 在 ISIC’17 数据集上，Extreme Consistency 相较于表现最佳的 SSL 方法，Dice 分数提升了 2 个百分点，平均 Dice 达到 0.836，优于次佳方法的 0.816。
• 在 STARE 数据集上，该方法在平均 Dice（0.828 vs. 0.823）和标准差（0.002 vs. 0.004）上均优于第二好的 SSL 方法，表明其具有更优的稳定性。
• 在领域分布偏移实验中，Extreme Consistency 相较于 U-Net 监督基线平均提升 6 个百分点 Dice，相较最佳 SSL 方法提升 3 个百分点，且所有提升均具有统计显著性（p < 0.05）。
• 消融实验表明，若移除多样化变换，Dice 分数下降 1.3–1.6%；若排除图像混合，则导致 1.3% 的分数下降及更高方差，证明其在性能与稳定性中的关键作用。
• 若排除未标注数据，或用学生网络替代教师网络（如 Π-model 中的做法），Dice 分数分别下降 1.4% 和 0.6%，证明未标注数据和教师-学生架构的必要性。
• 使用极端增强训练监督型 U-Net 并未带来显著性能提升（Dice: 0.807），排除了数据增强本身作为性能提升来源的可能性，从而确认性能增益源于一致性正则化机制。