[论文解读] Continual Semi-Supervised Learning through Contrastive Interpolation Consistency

Matteo Boschini, Pietro Buzzega+3 more|arXiv (Cornell University)|Aug 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 32

一句话总结

本文提出了一种名为对比持续插值一致性（CCIC）的新方法，用于持续半监督学习（CSSL），该方法结合了经验回放与对比一致性正则化，以利用未标记数据。令人惊讶的是，CCIC仅使用25%的标记数据，其性能便超越了SOTA全监督方法，表明在持续学习设置中，有限监督结合有效的半监督正则化，可优于全监督。

ABSTRACT

Continual Learning (CL) investigates how to train Deep Networks on a stream of tasks without incurring forgetting. CL settings proposed in literature assume that every incoming example is paired with ground-truth annotations. However, this clashes with many real-world applications: gathering labeled data, which is in itself tedious and expensive, becomes infeasible when data flow as a stream. This work explores Continual Semi-Supervised Learning (CSSL): here, only a small fraction of labeled input examples are shown to the learner. We assess how current CL methods (e.g.: EWC, LwF, iCaRL, ER, GDumb, DER) perform in this novel and challenging scenario, where overfitting entangles forgetting. Subsequently, we design a novel CSSL method that exploits metric learning and consistency regularization to leverage unlabeled examples while learning. We show that our proposal exhibits higher resilience to diminishing supervision and, even more surprisingly, relying only on 25% supervision suffices to outperform SOTA methods trained under full supervision.

研究动机与目标

• 解决在仅少量数据被标记的情况下，持续学习中灾难性遗忘的挑战。
• 探索半监督学习技术是否能在持续学习的低监督设置下有效提升性能。
• 设计一种新方法，在增量任务学习过程中以统一、端到端的方式整合监督学习与无监督学习。
• 证明在结合适当的的一致性正则化时，有限标注可比全监督更有效。

提出的方法

• CCIC 将经验回放与对比一致性正则化相结合，利用记忆缓冲区存储过往样本。
• 通过对比损失强制同一输入的不同增强视图之间保持一致性，促进鲁棒的特征学习。
• 引入插值一致性，对标记样本与未标记样本之间的插值表示进行正则化，使其在特征空间中尽可能接近。
• 采用跨任务挖掘策略，从先前任务中选择负样本，使它们的特征远离当前样本。
• 引入基于指数移动平均的时序一致性基线，尽管其性能被其他组件超越。
• 框架通过监督交叉熵损失、对比损失与插值一致性损失的组合进行端到端训练。

实验结果

研究问题

• RQ1 半监督学习技术是否能在低监督设置下提升持续学习的性能？
• RQ2 一种将标记与未标记数据交错训练的统一训练方案，是否优于分阶段独立训练？
• RQ3 通过对比学习实现的一致性正则化，是否能缓解在有限标签下的持续学习中的遗忘问题？
• RQ4 25%的监督是否足以超越在持续学习中使用全监督训练的SOTA方法？
• RQ5 负样本挖掘策略的选择如何影响CSSL设置下的性能？

主要发现

• 在使用25%标签与5120缓冲区大小时，CCIC在CIFAR-100上实现了84.7%的平均准确率，超越了SOTA全监督方法。
• 仅使用0.8%标签时，CCIC在CIFAR-100上仍保持55.2%的准确率，而ER下降至25.9%，显示出对标签稀缺的更强鲁棒性。
• 在SVHN数据集上，CCIC在5120缓冲区大小与25%监督下达到84.7%的准确率，超越了SOTA全监督结果。
• CCIC从25%降至0.8%标签时，平均性能下降仅26%，而ER为47%，表明其对监督减少更具韧性。
• 与任务无关及任务内挖掘策略的表现劣于跨任务挖掘，证实了任务感知负样本采样的重要性。
• 使用指数移动平均进行一致性正则化的策略表现最差，表明其在持续学习设置中效果较弱。