[论文解读] Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning

Chi Ian Tang, Lorena Qendro+4 more|arXiv (Cornell University)|Mar 30, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

Kaizen 提出了一种实用的自监督持续学习框架，通过在每个任务中联合使用未标记和标记数据，并采用一种新颖的损失函数结合持续知识蒸馏，有效缓解灾难性遗忘。在 split CIFAR-100 上，该方法相比先前方法准确率最高提升 16.5%，遗忘率降低 25.4%，通过端到端平衡知识保留与新任务学习，优于当前最先进的基于自监督学习的持续学习模型。

ABSTRACT

Self-supervised learning (SSL) has shown remarkable performance in computer vision tasks when trained offline. However, in a Continual Learning (CL) scenario where new data is introduced progressively, models still suffer from catastrophic forgetting. Retraining a model from scratch to adapt to newly generated data is time-consuming and inefficient. Previous approaches suggested re-purposing self-supervised objectives with knowledge distillation to mitigate forgetting across tasks, assuming that labels from all tasks are available during fine-tuning. In this paper, we generalize self-supervised continual learning in a practical setting where available labels can be leveraged in any step of the SSL process. With an increasing number of continual tasks, this offers more flexibility in the pre-training and fine-tuning phases. With Kaizen, we introduce a training architecture that is able to mitigate catastrophic forgetting for both the feature extractor and classifier with a carefully designed loss function. By using a set of comprehensive evaluation metrics reflecting different aspects of continual learning, we demonstrated that Kaizen significantly outperforms previous SSL models in competitive vision benchmarks, with up to 16.5% accuracy improvement on split CIFAR-100. Kaizen is able to balance the trade-off between knowledge retention and learning from new data with an end-to-end model, paving the way for practical deployment of continual learning systems.

研究动机与目标

• 为解决在先前任务的标记数据不可用的现实数据约束下，自监督持续学习（CSSL）中的灾难性遗忘问题。
• 设计一种框架，支持在每个任务中使用未标记和标记数据进行端到端训练，实现持续学习过程任意阶段的部署。
• 通过统一的训练目标，平衡知识保留与新数据学习，结合特征提取与分类器微调。
• 在实际假设下，通过全面的评估指标（包括持续准确率、最终准确率、遗忘率和正向迁移）对方法进行评估。
• 证明在特征头和分类器头之间持续蒸馏能显著提升真实世界持续学习场景下的性能与稳定性。

提出的方法

• 提出一种新颖的训练目标，将对比自监督与特征提取器和分类器头的知识蒸馏相结合。
• 采用双流蒸馏机制：一者用于特征编码器，采用动量平均的学生-教师网络；另一者用于分类器，使用先前任务预测的软标签。
• 使用可配置大小的回放缓冲区存储并重新利用历史数据，提升保留能力，无需完整微调。
• 在每个任务中应用持续微调，利用未标记数据进行对比预训练，利用标记数据进行分类器适应与蒸馏。
• 设计一种损失函数，平衡自监督对比学习、特征表示的知识蒸馏损失，以及分类头预测的知识蒸馏损失。
• 支持在训练过程中任意时间点部署功能完整的分类器，实现实际应用中的可行部署。

实验结果

研究问题

• RQ1 当早期任务的标记数据不可用时，自监督持续学习框架能否有效缓解灾难性遗忘？
• RQ2 在每个任务中同时使用未标记和标记数据进行持续微调，相比标准自监督学习或监督型持续学习方法，性能提升程度如何？
• RQ3 在特征头和分类器头同时进行联合蒸馏，在保持新任务高准确率的同时，能在多大程度上减少遗忘？
• RQ4 在实际持续学习设置中，知识保留、正向迁移与回放数据大小之间存在何种权衡？
• RQ5 在多种评估指标下，该方法与当前最先进的自监督学习及持续学习基线方法相比表现如何？

主要发现

• 在 split CIFAR-100 上，Kaizen 相较于先前基于自监督学习的持续学习方法，准确率最高提升 16.5%，最佳性能使用 MoCoV2+ 作为主干网络。
• 在所有评估的自监督技术中，该方法的遗忘率相比基线方法降低 25.4%（以遗忘度量衡量）。
• 使用 MoCoV2+ 主干网络时，Kaizen 达到最终准确率 0.570 和持续准确率 0.409，分别显著优于次佳方法 CaSSLe 的 0.138 和 0.088。
• 即使不使用任何回放数据（0% 回放），Kaizen 仍保持强大性能，展现出在严格数据约束下的鲁棒性。
• 增加回放数据大小可提升准确率并减少遗忘，但会降低正向迁移，凸显系统设计中的关键权衡。
• Kaizen 展现负向正向迁移，表明保留与学习新任务之间存在权衡，但其在所有评估方法中实现了最佳整体平衡。