[论文解读] Layerwise Optimization by Gradient Decomposition for Continual Learning

Shixiang Tang, Dapeng Chen+3 more|arXiv (Cornell University)|May 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 4

一句话总结

本文提出了一种新颖的持续学习框架，通过将回放记忆中的梯度分解为共享与任务特定两部分，强制更新梯度与共享梯度保持非负内积关系，同时与任务特定梯度保持正交，从而实现知识一致性。通过逐层优化梯度以缓解梯度幅值失衡问题，该方法在多个持续学习基准上实现了最先进性能，在 Split Tiny ImageNet 上相比 GEM 和 S-GEM 等先前方法最高提升达 3.9%。

ABSTRACT

Deep neural networks achieve state-of-the-art and sometimes super-human performance across various domains. However, when learning tasks sequentially, the networks easily forget the knowledge of previous tasks, known as "catastrophic forgetting". To achieve the consistencies between the old tasks and the new task, one effective solution is to modify the gradient for update. Previous methods enforce independent gradient constraints for different tasks, while we consider these gradients contain complex information, and propose to leverage inter-task information by gradient decomposition. In particular, the gradient of an old task is decomposed into a part shared by all old tasks and a part specific to that task. The gradient for update should be close to the gradient of the new task, consistent with the gradients shared by all old tasks, and orthogonal to the space spanned by the gradients specific to the old tasks. In this way, our approach encourages common knowledge consolidation without impairing the task-specific knowledge. Furthermore, the optimization is performed for the gradients of each layer separately rather than the concatenation of all gradients as in previous works. This effectively avoids the influence of the magnitude variation of the gradients in different layers. Extensive experiments validate the effectiveness of both gradient-decomposed optimization and layer-wise updates. Our proposed method achieves state-of-the-art results on various benchmarks of continual learning.

研究动机与目标

• 通过利用任务间梯度信息而非独立处理梯度，解决持续学习中的灾难性遗忘问题。
• 克服先前方法将各层梯度拼接后处理的局限性，避免高幅值层主导整体梯度更新。
• 通过区分共享知识（所有旧任务共有的知识）与任务特定知识（各任务独有的知识），提升知识保留能力。
• 设计逐层优化策略，解耦各层梯度更新，减少梯度幅值差异带来的影响。
• 在任务增量与类别增量的持续学习设置中均实现最先进性能。

提出的方法

• 将每个旧任务的梯度分解为共享分量（所有旧任务共用）与任务特定分量（仅属于该任务）。
• 强制更新梯度与共享梯度的内积非负，以促进共用知识的巩固。
• 在更新梯度与所有任务特定梯度张成的空间之间施加正交性约束，以保护任务特定知识。
• 使用主成分分析（PCA）放松严格的正交性约束，聚焦于最关键的方向。
• 通过独立求解各层的梯度约束实现逐层优化，避免拼接梯度带来的幅值失衡问题。
• 结合梯度约束与回放记忆重放，在持续训练过程中联合优化旧任务与新任务的损失。

实验结果

研究问题

• RQ1 能否有效解耦任务间的梯度信息，以提升持续学习中的知识整合能力？
• RQ2 对任务特定梯度子空间施加正交性约束，是否有助于保留任务特定知识并最小化干扰？
• RQ3 逐层梯度优化是否能降低高幅值梯度的主导性，从而改善旧任务性能？
• RQ4 与 GEM 或 A-GEM 等传统梯度约束方法相比，该梯度分解方法在遗忘率与准确率方面表现如何？
• RQ5 所提方法是否能在不同持续学习设置（包括任务增量与类别增量场景）中实现良好泛化？

主要发现

• 在 Split CIFAR100 上，仅训练一个周期，准确率从 GEM 的 65.8% 提升至 69.3%，提升 3.5%。
• 在 Split Tiny ImageNet 上，该方法在单个周期内达到 38.1% 的准确率，相比 GEM 的 34.2% 提升 3.9%。
• 在 Split CIFAR100 的类别增量设置中，该方法达到 65.3% 的准确率，与最先进方法 MUC 表现相当，并较 GEM 提升 3%。
• 在所有基准测试中，该方法均持续优于 GEM、A-GEM 和 S-GEM，包括 MNIST Permutation 和 Split CIFAR10。
• 消融实验表明，梯度分解与逐层优化策略均对性能提升有显著贡献。
• 逐层策略在降低旧任务损失方面更具效率，表现为收敛更快且遗忘率更低。