[论文解读] Continual Learning with Recursive Gradient Optimization

Hao Liu, Huaping Liu|arXiv (Cornell University)|Jan 29, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出递归梯度优化（RGO），一种基于正则化的持续学习方法，通过递归地使用二次损失上界和虚拟特征编码层（FEL）对梯度进行修改，实现无数据回放的固定容量网络中的遗忘最小化。RGO在20折-CIFAR100（82.22%）和20折-miniImageNet（72.63%）上达到最先进性能，优于现有固定容量基线方法，并匹配或超过单任务学习的准确率。

ABSTRACT

Learning multiple tasks sequentially without forgetting previous knowledge, called Continual Learning(CL), remains a long-standing challenge for neural networks. Most existing methods rely on additional network capacity or data replay. In contrast, we introduce a novel approach which we refer to as Recursive Gradient Optimization(RGO). RGO is composed of an iteratively updated optimizer that modifies the gradient to minimize forgetting without data replay and a virtual Feature Encoding Layer(FEL) that represents different long-term structures with only task descriptors. Experiments demonstrate that RGO has significantly better performance on popular continual classification benchmarks when compared to the baselines and achieves new state-of-the-art performance on 20-split-CIFAR100(82.22%) and 20-split-miniImageNet(72.63%). With higher average accuracy than Single-Task Learning(STL), this method is flexible and reliable to provide continual learning capabilities for learning models that rely on gradient descent.

研究动机与目标

• 解决持续学习中灾难性遗忘问题，且不依赖数据回放或网络容量增加。
• 开发一种基于梯度的优化方法，在最小化遗忘的同时保持对当前任务的强性能。
• 通过保持标准学习率和优化器行为，实现与现有深度学习模型和训练策略的兼容性。
• 引入一种无参数的任务编码机制，实现任务间网络行为的解耦，且不增加模型大小。

提出的方法

• RGO 使用递归优化过程，在过去任务损失的二次上界约束下修改梯度方向，从而在无需显式超参数平衡的情况下最小化遗忘。
• 它引入了迹归一化过程以维持当前任务的学习率，确保与标准单任务训练协议的兼容性。
• 在每个真实层之后插入一个虚拟特征编码层（FEL），使用任务ID作为随机种子对特征图进行置换，从而创建任务特定的虚拟结构。
• FEL 在不增加参数的情况下实现任务特定行为，从而保持网络在各任务上的拟合能力。
• 该方法基于二阶泰勒展开来估计过去任务的损失，并使用基于海森矩阵的梯度校正来指导参数更新。
• 该方法与标准反向传播兼容，可几乎零开销地集成到大多数深度学习框架中。

实验结果

研究问题

• RQ1 基于梯度的持续学习方法是否能在无需数据回放或架构扩展的情况下实现最先进性能？
• RQ2 如何递归地优化梯度修改，以在最小化遗忘的同时保持当前任务性能？
• RQ3 无参数、任务编码机制是否能有效减少固定容量网络中任务间的干扰？
• RQ4 当前任务优先原则在持续学习中相较于传统损失平衡方法的优越程度如何？
• RQ5 与现有正则化方法和基于记忆的方法相比，该方法在遗忘控制和准确率方面表现如何？

主要发现

• RGO在20折-CIFAR100基准上达到82.22%的新最先进准确率，显著优于现有固定容量方法。
• 在20折-miniImageNet上，RGO实现72.63%的准确率，创下新SOTA结果，展现出跨数据集的强大泛化能力。
• RGO保持的平均准确率与单任务学习（STL）相当或更高，表明持续学习带来的性能退化极小。
• 该方法完全兼容标准深度学习框架，且在标准反向传播之外仅需常数时间与内存开销。
• 虚拟特征编码层（FEL）在不增加参数的情况下实现有效任务特定行为，保持模型容量与泛化能力。
• 实验结果证实，RGO比正则化基线方法更有效地减少遗忘，且无需超参数调优或记忆回放。