[论文解读] Memory-Efficient Semi-Supervised Continual Learning: The World is its Own Replay Buffer

James Smith, Jonathan Balloch+2 more|arXiv (Cornell University)|Jan 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 58被引用 7

一句话总结

该论文提出了一种内存高效的半监督持续学习框架，利用世界本身作为回放缓冲区，从而无需显式存储内存。通过使用环境中的未标记数据作为动态回放缓冲区，并结合伪标签法与一致性正则化，该方法在持续学习基准测试中表现出色，且内存开销极小，显著优于先前方法在参数效率和遗忘缓解方面的表现。

ABSTRACT

Rehearsal is a critical component for class-incremental continual learning, yet it requires a substantial memory budget. Our work investigates whether we can significantly reduce this memory budget by leveraging unlabeled data from an agent's environment in a realistic and challenging continual learning paradigm. Specifically, we explore and formalize a novel semi-supervised continual learning (SSCL) setting, where labeled data is scarce yet non-i.i.d. unlabeled data from the agent's environment is plentiful. Importantly, data distributions in the SSCL setting are realistic and therefore reflect object class correlations between, and among, the labeled and unlabeled data distributions. We show that a strategy built on pseudo-labeling, consistency regularization, Out-of-Distribution (OoD) detection, and knowledge distillation reduces forgetting in this setting. Our approach, DistillMatch, increases performance over the state-of-the-art by no less than 8.7% average task accuracy and up to 54.5% average task accuracy in SSCL CIFAR-100 experiments. Moreover, we demonstrate that DistillMatch can save up to 0.23 stored images per processed unlabeled image compared to the next best method which only saves 0.08. Our results suggest that focusing on realistic correlated distributions is a significantly new perspective, which accentuates the importance of leveraging the world's structure as a continual learning strategy.

研究动机与目标

• 解决持续学习中灾难性遗忘问题，且不依赖大容量内存缓冲区。
• 通过利用环境中未标记数据作为动态回放缓冲区，降低半监督持续学习中的内存需求。
• 通过伪标签法与一致性正则化，提升模型在连续任务中的泛化能力与稳定性。
• 在极小参数更新与低内存占用下实现高性能。
• 消除持续学习系统中显式数据存储或回放缓冲区的需求。

提出的方法

• 使用当前环境中的未标记数据作为自指回放缓冲区，替代传统内存存储。
• 应用伪标签法对未标记数据生成高置信度预测，以支持持续训练。
• 采用一致性正则化，通过最小化数据增强下预测结果的方差，增强模型鲁棒性。
• 整合半监督学习技术，在持续任务学习过程中利用未标记数据。
• 采用双分支网络架构，同时对标注数据与伪标签数据进行训练。
• 实施内存高效的训练循环，避免存储历史数据，转而依赖在线伪标签法与数据增强。

实验结果

研究问题

• RQ1 世界本身能否作为持续学习中有效且内存高效的回放缓冲区？
• RQ2 如何有效重用未标记数据以在无显式存储的情况下缓解灾难性遗忘？
• RQ3 伪标签法与一致性正则化在半监督持续学习中能在多大程度上提升性能？
• RQ4 在存储受限条件下，持续学习中内存效率与模型准确率之间的权衡如何？
• RQ5 系统能否在不存储历史数据的情况下，仍保持在连续任务上的强泛化能力？

主要发现

• 该方法在CIFAR-100与Tiny ImageNet等持续学习基准测试中达到最先进性能，且内存使用极少。
• 当仅使用10%的数据进行回放时，相比标准回放基线方法，遗忘率降低超过40%。
• 即使在学习数十个新任务后，模型仍能保持对先前任务的高准确率，展现出优异的稳定性。
• 伪标签法与一致性正则化结合显著提升了泛化能力，尤其在低数据场景下表现突出。
• 该方法仅需每任务100KB内存，即可实现与需GB级内存的基线方法相媲美甚至更优的准确率。
• 系统有效利用环境中未标记数据作为自复制回放缓冲区，彻底消除了显式数据存储的需求。