[论文解读] Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer

Sen Lin, Li Yang+2 more|arXiv (Cornell University)|Nov 1, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出CUBER，一种持续学习方法，通过在学习新任务时选择性地更新旧任务模型，利用梯度投影识别正相关的任务，从而实现反向知识迁移。与以往冻结旧模型以防止遗忘的方法不同，CUBER在标准基准上实现了无需数据回放的正向反向知识迁移，提升了新旧任务的性能。

ABSTRACT

By learning a sequence of tasks continually, an agent in continual learning (CL) can improve the learning performance of both a new task and `old' tasks by leveraging the forward knowledge transfer and the backward knowledge transfer, respectively. However, most existing CL methods focus on addressing catastrophic forgetting in neural networks by minimizing the modification of the learnt model for old tasks. This inevitably limits the backward knowledge transfer from the new task to the old tasks, because judicious model updates could possibly improve the learning performance of the old tasks as well. To tackle this problem, we first theoretically analyze the conditions under which updating the learnt model of old tasks could be beneficial for CL and also lead to backward knowledge transfer, based on the gradient projection onto the input subspaces of old tasks. Building on the theoretical analysis, we next develop a ContinUal learning method with Backward knowlEdge tRansfer (CUBER), for a fixed capacity neural network without data replay. In particular, CUBER first characterizes the task correlation to identify the positively correlated old tasks in a layer-wise manner, and then selectively modifies the learnt model of the old tasks when learning the new task. Experimental studies show that CUBER can even achieve positive backward knowledge transfer on several existing CL benchmarks for the first time without data replay, where the related baselines still suffer from catastrophic forgetting (negative backward knowledge transfer). The superior performance of CUBER on the backward knowledge transfer also leads to higher accuracy accordingly.

研究动机与目标

• 为解决现有持续学习方法因冻结旧模型以防止遗忘而导致反向知识迁移受限的问题。
• 探究在何种情况下更新旧任务模型可提升学习性能，特别是在新旧任务正相关时。
• 开发一种在无数据回放条件下，使固定容量神经网络实现反向知识迁移的方法。
• 基于任务子空间中的梯度对齐，理论表征模型更新对旧任务有益的条件。

提出的方法

• CUBER使用旧任务输入子空间上的梯度投影来量化任务相关性，并识别正相关的任务。
• 引入两种模式：模式1（不更新）和模式3（选择性模型更新），基于投影强度的阈值。
• 当梯度投影超过阈值时，仅对选定的旧任务模型应用正交投影进行更新，确保最小干扰。
• 采用逐层分析方法，识别与新任务强相关的旧任务，实现有针对性的模型更新。
• 该方法使用SVD提取任务子空间基，并计算基于投影的相关性度量，以指导更新决策。
• 通过允许在正相关的旧任务子空间中更新，放松新任务的梯度约束，从而提升正向知识迁移。

实验结果

研究问题

• RQ1 在何种条件下更新旧任务模型对持续学习有益，而非因灾难性遗忘而造成损害？
• RQ2 如何在无数据回放的固定容量神经网络中实现反向知识迁移？
• RQ3 旧任务输入子空间中的梯度对齐在实现对旧任务有益的模型更新中起什么作用？
• RQ4 能否通过选择性地更新旧任务模型，同时提升新旧任务的性能？
• RQ5 如何定量测量任务相关性，以指导持续学习中选择性模型更新？

主要发现

• CUBER在Split CIFAR-100、Split MiniImageNet和Permuted MNIST基准上实现了正向反向知识迁移——这是首次在无数据回放条件下实现此类正向迁移。
• 在Split CIFAR-100上，CUBER的反向知识迁移（BWT）为0.01%，低于GPM的0.22%和TRGP的0.03%，表明遗忘极少且反向迁移有效。
• 在Split CIFAR-100上，CUBER的正向知识迁移（FWT）提升2.79%，在Split MiniImageNet上提升3.13%，优于TRGP和GPM。
• CUBER的性能对阈值ε₂具有鲁棒性，随着ε₂从0.0增加到0.5，BWT从0.22%降至0.01%，表明模型更新受控且高效。
• CUBER通过更新正相关的旧任务模型放松梯度约束，从而提升整体准确率并改善学习效率。