[论文解读] FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling

Bowen Zhang, Yidong Wang+5 more|arXiv (Cornell University)|Oct 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用 477

一句话总结

FlexMatch 将 Curriculum Pseudo Labeling (CPL) 与 FixMatch 结合，在 SSL 过程中按类别动态调整阈值，从而提高准确性和收敛速度且不增加额外参数。CPL 在标签稀缺时提升性能，并可应用于其他 SSL 方法。

ABSTRACT

The recently proposed FixMatch achieved state-of-the-art results on most semi-supervised learning (SSL) benchmarks. However, like other modern SSL algorithms, FixMatch uses a pre-defined constant threshold for all classes to select unlabeled data that contribute to the training, thus failing to consider different learning status and learning difficulties of different classes. To address this issue, we propose Curriculum Pseudo Labeling (CPL), a curriculum learning approach to leverage unlabeled data according to the model's learning status. The core of CPL is to flexibly adjust thresholds for different classes at each time step to let pass informative unlabeled data and their pseudo labels. CPL does not introduce additional parameters or computations (forward or backward propagation). We apply CPL to FixMatch and call our improved algorithm FlexMatch. FlexMatch achieves state-of-the-art performance on a variety of SSL benchmarks, with especially strong performances when the labeled data are extremely limited or when the task is challenging. For example, FlexMatch achieves 13.96% and 18.96% error rate reduction over FixMatch on CIFAR-100 and STL-10 datasets respectively, when there are only 4 labels per class. CPL also significantly boosts the convergence speed, e.g., FlexMatch can use only 1/5 training time of FixMatch to achieve even better performance. Furthermore, we show that CPL can be easily adapted to other SSL algorithms and remarkably improve their performances. We open-source our code at https://github.com/TorchSSL/TorchSSL.

研究动机与目标

• 通过解决 SSL 中固定的类别无关阈值，推动对 FixMatch 的改进。
• 引入 Curriculum Pseudo Labeling (CPL)，基于每个类别的学习状态来利用未标记数据。
• 通过将 CPL 与 FixMatch 集成，在不增加额外参数或计算的情况下开发 FlexMatch。
• 在标准 SSL 基准和标注稀缺场景中展示 CPL 的有效性。

提出的方法

• 定义 CPL，以使用超过固定阈值的未标记样本数量来估计每个类别的学习状态。
• 通过将基准阈值 τ 乘以归一化的学习效应 β_t(c)，计算每个类别的灵活阈值 T_t(c)。
• 在每次迭代中更新阈值，而不引入新的参数或前向/反向计算。
• 对 β_t(c) 应用非线性映射 M 以得到 T_t(c)，采用凸函数以提高灵敏度。
• 引入阈值预热以稳定早期训练并减少确认偏差。
• 将 SSL 损失公式化为带有动态阈值的监督损失 L_s 与无监督损失 L_{u,t} 的组合。

实验结果

研究问题

• RQ1 与固定全局阈值相比，按类别、随时间变化的阈值是否能提升 SSL 中未标记数据的利用率？
• RQ2 CPL 是否在标准 SSL 基准上提升收敛速度和最终精度，尤其是在标注极少的情况下？
• RQ3 CPL 是否能在不增加额外可训练参数或计算开销的情况下，与 FixMatch 及其他 SSL 算法有效集成？
• RQ4 阈值映射函数和预热对性能有何影响？
• RQ5 CPL 在如 ImageNet 等大规模且不均衡的数据集上有何表现？

主要发现

• FlexMatch 在多个 SSL 基准上取得了最先进的结果，尤其是在极少标注的情况下（例如 CIFAR-100 每类 4 个标签，STL-10 40 个标签）。
• 在每类 4 个标签的设置下，FlexMatch 相对 FixMatch 在 CIFAR-100 的错误率降低了 13.96%，在 STL-10 降低了 18.96%。
• CPL 加速收敛，使 FlexMatch 在不到 FixMatch 训练时间的 1/5 之前达到有竞争力的性能。
• CPL 也提升了其他 SSL 方法（如 UDA、Pseudo-Labeling），且不增加额外的计算成本。
• 在每类 100 标签的 ImageNet 实验中，FlexMatch 在 2^20 次迭代后优于 FixMatch，表明对大数据集具有可扩展性。