[论文解读] Training Networks in Null Space of Feature Covariance for Continual Learning

Shipeng Wang, Xiaorong Li+2 more|arXiv (Cornell University)|Mar 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用 10

一句话总结

该论文提出 Adam-NSCL，一种新型的持续学习算法，通过将 Adam 的参数更新投影到先前任务特征协方差矩阵的近似零空间中，实现深度网络的稳定训练而不会遗忘。该方法通过逐次计算未中心化的协方差矩阵，并利用 SVD 近似各层的零空间，在 CIFAR-100 和 TinyImageNet 基准上实现了最先进性能。

ABSTRACT

In the setting of continual learning, a network is trained on a sequence of tasks, and suffers from catastrophic forgetting. To balance plasticity and stability of network in continual learning, in this paper, we propose a novel network training algorithm called Adam-NSCL, which sequentially optimizes network parameters in the null space of previous tasks. We first propose two mathematical conditions respectively for achieving network stability and plasticity in continual learning. Based on them, the network training for sequential tasks can be simply achieved by projecting the candidate parameter update into the approximate null space of all previous tasks in the network training process, where the candidate parameter update can be generated by Adam. The approximate null space can be derived by applying singular value decomposition to the uncentered covariance matrix of all input features of previous tasks for each linear layer. For efficiency, the uncentered covariance matrix can be incrementally computed after learning each task. We also empirically verify the rationality of the approximate null space at each linear layer. We apply our approach to training networks for continual learning on benchmark datasets of CIFAR-100 and TinyImageNet, and the results suggest that the proposed approach outperforms or matches the state-ot-the-art continual learning approaches.

研究动机与目标

• 为解决持续学习中的可塑性-稳定性困境，即网络在学习新任务时遗忘旧任务的问题。
• 开发一种方法，在保持对过去任务稳定性的同时，支持对新任务学习的可塑性。
• 设计一种高效且可增量计算的算法，无需访问先前任务数据即可避免灾难性遗忘。
• 从理论上证明使用零空间投影可有效平衡深度网络中的稳定性与可塑性。
• 在标准持续学习基准上实证验证所提方法的有效性。

提出的方法

• 该方法引入两个理论条件：一个用于稳定性（参数更新与先前特征梯度正交），一个用于可塑性（参数更新与当前梯度方向对齐）。
• 在每一层，将 Adam 的候选参数更新投影到所有先前任务输入特征未中心化协方差矩阵的近似零空间中。
• 通过未中心化协方差矩阵的奇异值分解（SVD）计算近似零空间，仅保留对应最小奇异值的奇异向量。
• 在每个任务后增量式更新未中心化协方差矩阵，以确保计算效率并避免存储所有历史数据。
• 将此投影机制整合到 Adam 优化器中，通过逐层在应用到网络权重前对梯度更新进行投影。
• 引入一个超参数以控制零空间的近似程度，从而在实际中平衡稳定性与可塑性。

实验结果

研究问题

• RQ1 将参数更新投影到先前任务特征协方差的零空间，能否提升持续学习性能？
• RQ2 如何利用特征协方差理论平衡持续学习中的稳定性与可塑性？
• RQ3 能否在不存储历史数据的前提下，高效且增量地计算特征协方差的零空间？
• RQ4 与最先进持续学习方法相比，该方法在准确率和灾难性遗忘抑制（反向迁移）方面表现如何？
• RQ5 基于未中心化协方差矩阵 SVD 得到的近似零空间，是否为防止遗忘提供了合理且有效的子空间？

主要发现

• Adam-NSCL 在 CIFAR-100 和 TinyImageNet 上优于最先进方法，在三个基准上分别比 OWM 提高 4.88%、7.48% 和 8.3% 的准确率，且反向迁移性能相当。
• 该方法在无需访问先前任务数据的情况下实现优异性能，适用于真实世界中的持续学习场景。
• 基于未中心化协方差矩阵 SVD 的近似零空间在经验上合理且有效，能有效保留先前任务的知识。
• 通过增量计算未中心化协方差矩阵，实现了无需存储历史特征或数据的高效在线适应。
• 控制零空间近似的超参数可有效平衡稳定性与可塑性，且比 OWM 等类似方法更易于调优。
• 通过数学分析与实证结果，验证了稳定性与可塑性的理论条件，证明其在指导算法设计方面的合理性。