[论文解读] Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning

Paola Cascante-Bonilla, Fuwen Tan+2 more|arXiv (Cornell University)|Jan 15, 2020

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文通过引入基于极值理论的自 paced 策略，重新审视了伪标签在半监督学习中的应用。所提出的 Curriculum Labeling 方法利用极值理论动态设定置信度阈值，选择高置信度的伪标签样本，并在每次迭代前重新初始化模型权重，以防止概念漂移。该方法在仅使用 4,000 个标注样本的情况下，在 CIFAR-10 上实现了 94.91% 的准确率，在使用 10% 标注数据的 ImageNet-ILSVRC 上实现了 68.87% 的 top-1 准确率，优于近期的一致性正则化方法，并对分布外的未标注数据表现出强鲁棒性。

ABSTRACT

In this paper we revisit the idea of pseudo-labeling in the context of semi-supervised learning where a learning algorithm has access to a small set of labeled samples and a large set of unlabeled samples. Pseudo-labeling works by applying pseudo-labels to samples in the unlabeled set by using a model trained on the combination of the labeled samples and any previously pseudo-labeled samples, and iteratively repeating this process in a self-training cycle. Current methods seem to have abandoned this approach in favor of consistency regularization methods that train models under a combination of different styles of self-supervised losses on the unlabeled samples and standard supervised losses on the labeled samples. We empirically demonstrate that pseudo-labeling can in fact be competitive with the state-of-the-art, while being more resilient to out-of-distribution samples in the unlabeled set. We identify two key factors that allow pseudo-labeling to achieve such remarkable results (1) applying curriculum learning principles and (2) avoiding concept drift by restarting model parameters before each self-training cycle. We obtain 94.91% accuracy on CIFAR-10 using only 4,000 labeled samples, and 68.87% top-1 accuracy on Imagenet-ILSVRC using only 10% of the labeled samples. The code is available at https://github.com/uvavision/Curriculum-Labeling

研究动机与目标

• 重新评估伪标签在现代半监督学习中的有效性，特别是与主流的一致性正则化方法进行对比。
• 解决传统伪标签方法的局限性，如迭代自训练导致的概念漂移与确认偏见。
• 提升对未标注集中分布外样本的鲁棒性，这是当前 SSL 方法的常见失败案例。
• 证明通过课程学习与模型重新初始化增强后，简单经典的伪标签方法仍可实现最先进性能。

提出的方法

• 提出 Curriculum Labeling (CL)，一种基于极值理论 (EVT) 的自 paced 策略，根据未标注数据上预测分数的分布动态设定置信度阈值。
• 采用课程学习范式，优先选择并训练最自信的预测结果，随着训练推进逐步过渡到低置信度样本。
• 在每次自训练迭代前重新初始化模型权重，以防止误差累积并缓解概念漂移。
• 采用自训练循环：模型先在标注数据上进行训练，然后用于为未标注样本分配伪标签，每次循环仅将最高置信度的预测结果加入训练集。
• 使用数据增强与 ZCA 预处理以提升泛化能力，模型更新通过在标注数据与伪标签数据上使用标准交叉熵损失完成。
• 基于性能收敛或未标注集完全利用作为停止准则。

实验结果

研究问题

• RQ1 经过精心设计的课程策略是否能恢复伪标签方法的性能，使其达到甚至超越现代的一致性正则化 SSL 方法？
• RQ2 在每次自训练迭代前进行模型重新初始化，对伪标签方法的性能与鲁棒性有何影响？
• RQ3 与一致性正则化方法相比，伪标签方法在未标注集中面对分布外样本时的鲁棒性如何？
• RQ4 基于 EVT 的动态阈值设定是否在准确率与收敛稳定性方面优于固定阈值的伪标签方法？

主要发现

• Curriculum Labeling 在仅使用 4,000 个标注样本的情况下，于 CIFAR-10 上实现了 94.91% 的 top-1 准确率，与 UDA 等最先进方法性能相当。
• 在 ImageNet-ILSVRC 上，该方法使用仅 10% 的标注数据即达到 68.87% 的 top-1 准确率，优于 UDA 与 ICT。
• 基于 EVT 的自 paced 课程策略显著优于固定阈值伪标签方法（如 0.9 与 0.9995），尤其在训练后期，固定阈值带来的性能提升微乎其微。
• 在每次迭代前进行模型重新初始化，相比微调策略，准确率提升至少 1%，有效缓解了概念漂移与确认偏见。
• 该方法对未标注集中分布外样本表现出卓越的鲁棒性，这是许多一致性正则化 SSL 方法的关键失败案例。
• 即使使用大量数据增强，原始的固定阈值伪标签方法与标准增强策略仍无法达到所提课程方法的性能。