[论文解读] Efficient Self-supervised Continual Learning with Progressive Task-correlated Layer Freezing

Li Yang, Sen Lin+3 more|arXiv (Cornell University)|Mar 13, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出渐进式任务相关层冻结（PTLF），一种用于高效自监督持续学习（SSCL）的方法，通过逐步冻结任务相关性比率最高的层来降低训练成本和内存使用。实验表明，与SOTA方法（如LUMP）相比，PTLF在训练速度上快12–14%，内存使用减少23–26%，反向FLOPs减少33–35%，且遗忘减少、准确率无下降。

ABSTRACT

Inspired by the success of Self-supervised learning (SSL) in learning visual representations from unlabeled data, a few recent works have studied SSL in the context of continual learning (CL), where multiple tasks are learned sequentially, giving rise to a new paradigm, namely self-supervised continual learning (SSCL). It has been shown that the SSCL outperforms supervised continual learning (SCL) as the learned representations are more informative and robust to catastrophic forgetting. However, if not designed intelligently, the training complexity of SSCL may be prohibitively high due to the inherent training cost of SSL. In this work, by investigating the task correlations in SSCL setup first, we discover an interesting phenomenon that, with the SSL-learned background model, the intermediate features are highly correlated between tasks. Based on this new finding, we propose a new SSCL method with layer-wise freezing which progressively freezes partial layers with the highest correlation ratios for each task to improve training computation efficiency and memory efficiency. Extensive experiments across multiple datasets are performed, where our proposed method shows superior performance against the SoTA SSCL methods under various SSL frameworks. For example, compared to LUMP, our method achieves 12\%/14\%/12\% GPU training time reduction, 23\%/26\%/24\% memory reduction, 35\%/34\%/33\% backward FLOPs reduction, and 1.31\%/1.98\%/1.21\% forgetting reduction without accuracy degradation on three datasets, respectively.

研究动机与目标

• 为解决自监督持续学习（SSCL）的高计算与内存开销问题，该问题限制了其在实际场景中的部署。
• 探究SSCL中的任务相关性，并加以利用以在不牺牲性能的前提下降低训练开销。
• 开发一种基于任务相关性选择性冻结层的方法，以提升训练与内存效率。
• 在显著降低计算成本的同时，缓解SSCL中的灾难性遗忘。
• 证明SSCL表征对激进的层冻结更具鲁棒性，相较于监督学习。

提出的方法

• 该方法基于梯度投影范数提出一种任务相关性比率，用于量化当前任务与先前任务之间的相似性。
• 按相关性比率对层进行排序，并按降序逐个任务逐步冻结层，以减少计算量。
• 在训练过程中逐层应用冻结策略，每项任务冻结前百分之几（例如0.4）相关性最高的层。
• 该方法可无缝集成到现有自监督学习框架（如SimSiam、BarlowTwins）中，无需修改网络架构。
• 冻结策略根据任务自适应调整，基于任务间特征相似性，而非固定层顺序。
• 该方法在多个基准数据集上进行评估：Split CIFAR-10、CIFAR-100、TinyImageNet和ImageNet-100。

Figure 1: The overview of our proposed method which progressively freezes partial layers during the whole training process for each task.

实验结果

研究问题

• RQ1 在自监督持续学习中，中间特征在连续任务之间如何相关？
• RQ2 能否利用基于梯度投影得到的任务相关性比率，指导SSCL中的高效层冻结？
• RQ3 对高相关性层进行渐进式冻结，是否能在保持性能的同时降低训练成本与内存使用？
• RQ4 与按索引顺序的朴素层冻结方法相比，该方法在遗忘与准确率方面表现如何？
• RQ5 SSCL是否比监督持续学习对激进的层冻结更具鲁棒性？

主要发现

• 与LUMP相比，所提方法在Split CIFAR-10上将GPU训练时间减少12%，在CIFAR-100上减少14%，在TinyImageNet上减少12%。
• 内存使用在CIFAR-10上减少23%，在CIFAR-100上减少26%，在TinyImageNet上减少24%，且无准确率下降。
• 反向FLOPs在CIFAR-10上减少35%，在CIFAR-100上减少34%，在TinyImageNet上减少33%。
• 与LUMP相比，灾难性遗忘在CIFAR-10上减少1.31%，在CIFAR-100上减少1.98%，在TinyImageNet上减少1.21%。
• 在所有评估的数据集和自监督学习框架中，该方法在显著降低计算与内存成本的同时，保持或提升了准确率。
• 层冻结决策在不同任务间高度一致，表明SSCL表征具有通用性且对冻结具有鲁棒性。

Figure 3: The overlap of layer selection for different tasks