[论文解读] Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning

Danruo Deng, Guangyong Chen+3 more|arXiv (Cornell University)|Oct 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 24

一句话总结

本论文提出 FS-DGPM，通过将 Flattening Sharpness 与 Dynamic Gradient Projection Memory 相结合，在持续学习中缓解遗忘并提高新任务的学习能力，方法是自适应重新加权 past-task 梯度基并调节损失景观的扁平度。

ABSTRACT

The backpropagation networks are notably susceptible to catastrophic forgetting, where networks tend to forget previously learned skills upon learning new ones. To address such the 'sensitivity-stability' dilemma, most previous efforts have been contributed to minimizing the empirical risk with different parameter regularization terms and episodic memory, but rarely exploring the usages of the weight loss landscape. In this paper, we investigate the relationship between the weight loss landscape and sensitivity-stability in the continual learning scenario, based on which, we propose a novel method, Flattening Sharpness for Dynamic Gradient Projection Memory (FS-DGPM). In particular, we introduce a soft weight to represent the importance of each basis representing past tasks in GPM, which can be adaptively learned during the learning process, so that less important bases can be dynamically released to improve the sensitivity of new skill learning. We further introduce Flattening Sharpness (FS) to reduce the generalization gap by explicitly regulating the flatness of the weight loss landscape of all seen tasks. As demonstrated empirically, our proposed method consistently outperforms baselines with the superior ability to learn new skills while alleviating forgetting effectively.

研究动机与目标

• 研究权重损失景观如何与持续学习中的稳定性和敏感性相关。
• 表征更扁平的损失景观与更好的持续学习性能之间的相关性。
• 开发一种方法，动态调整来自过去任务的梯度基的重要性，以提升新任务的学习效果。
• 在 GPM 的基础上扩展机制，使其扁平化锐度，并自适应释放不那么重要的基，以在遗忘与适应之间取得平衡。

提出的方法

• 用基矩阵 M 和重要性矩阵 Λ 建模过去任务的梯度子空间。
• 通过在 past-task 子空间内扰动权重，计算对抗扰动 v 以评估并降低当前任务中的锐度。
• 基于当前数据和记忆数据的梯度更新 Λ，以动态释放或收紧对每个基的更新。
• 通过将更新投影离开 past-task 子空间来更新权重 w，以在保留旧知识的同时适应新任务。
• 通过对回放数据进行 SVD 重新计算基 M，以使代表过去任务的子空间保持最新。
• 通过 PAC-Bayes 边界将扁平度、损失和持续学习性能联系起来，提供理论基础。

实验结果

研究问题

• RQ1 权重损失景观如何塑造持续学习的稳定性和敏感性？
• RQ2 更扁平的损失景观和更低的锐度是否能改善泛化并减少持续学习中的遗忘？
• RQ3 过去任务的梯度基能否自适应加权以在不损害旧任务的情况下改善新任务的学习？
• RQ4 将 Flattening Sharpness 与 Dynamic Gradient Projection Memory (FS-DGPM) 结合，是否比现有方法在持续学习上表现更优？

主要发现

• FS-DGPM 在平均准确率方面在 PMNIST、CIFAR-100 Split、CIFAR-100 Superclass 和 TinyImageNet 上持续优于基线方法。
• 该方法在旧任务上表现出色，同时在新任务的学习速度和准确率上保持或提升，表明在不牺牲稳定性的前提下提高了敏感性。
• 消融研究表明，扁平化锐度和对基的自适应软加权有助于超越 GPM 及相关变体的性能提升。
• FS-DGPM 降低遗忘（BWT），在多个基准测试中获得比竞争方法更高的总准确率。
• 该方法在单头和多头设置下均表现稳健，相较于某些基线具有更有利的内存效率。