[论文解读] Lifelong Learning with Sketched Structural Regularization

Haoran Li, Aditya Krishnan+4 more|arXiv (Cornell University)|Apr 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 4

一句话总结

本文提出了一种计算高效的Sketched Structural Regularization（Sketched SR）方法，利用线性压缩技术更好地近似持续学习中结构正则化的重要性矩阵。通过捕捉传统对角近似常忽略的非对角参数交互作用，Sketched SR显著减少了灾难性遗忘现象，并在Permuted-MNIST和CIFAR-100基准测试中优于对角SR，同时计算开销极低。

ABSTRACT

Preventing catastrophic forgetting while continually learning new tasks is an essential problem in lifelong learning. Structural regularization (SR) refers to a family of algorithms that mitigate catastrophic forgetting by penalizing the network for changing its "critical parameters" from previous tasks while learning a new one. The penalty is often induced via a quadratic regularizer defined by an \emph{importance matrix}, e.g., the (empirical) Fisher information matrix in the Elastic Weight Consolidation framework. In practice and due to computational constraints, most SR methods crudely approximate the importance matrix by its diagonal. In this paper, we propose \emph{Sketched Structural Regularization} (Sketched SR) as an alternative approach to compress the importance matrices used for regularizing in SR methods. Specifically, we apply \emph{linear sketching methods} to better approximate the importance matrices in SR algorithms. We show that sketched SR: (i) is computationally efficient and straightforward to implement, (ii) provides an approximation error that is justified in theory, and (iii) is method oblivious by construction and can be adapted to any method that belongs to the structural regularization class. We show that our proposed approach consistently improves various SR algorithms' performance on both synthetic experiments and benchmark continual learning tasks, including permuted-MNIST and CIFAR-100.

研究动机与目标

• 为解决终身学习中的灾难性遗忘问题，通过改进结构正则化中使用的重要性矩阵近似方法。
• 克服对角近似方法的局限性，后者假设参数间相互独立，常无法捕捉关键的参数交互作用。
• 开发一种与方法无关、计算高效的框架，增强现有结构正则化算法，且无需修改网络架构。
• 通过实证验证，更好的重要性矩阵近似可提升标准基准上的持续学习性能。

提出的方法

• 该方法应用线性压缩技术，对结构正则化中使用的重要矩阵（如经验Fisher信息矩阵）进行压缩与近似。
• 通过随机投影构建重要矩阵的低维压缩表示，同时保留其关键结构特性，并具备可证明的近似保证。
• 在新任务训练过程中，使用该压缩矩阵定义二次正则化项，惩罚对先前任务关键参数的改变。
• 该方法与具体算法无关，可无缝集成到任意结构正则化算法（如EWC或MAS）中，无需修改核心训练流程。
• 压缩大小 $ t $ 控制近似精度与计算成本之间的权衡，较小的 $ t $ 值（如30–50）即可实现优异性能。
• 理论分析表明，压缩过程相对于完整重要矩阵保持有界的近似误差。

实验结果

研究问题

• RQ1 线性压缩能否在结构正则化中提供比对角近似更优的重要矩阵近似？
• RQ2 使用压缩后的重要矩阵是否能提升在Permuted-MNIST和CIFAR-100等标准基准上的持续学习性能？
• RQ3 压缩大小 $ t $ 如何影响近似质量与计算效率之间的权衡？
• RQ4 该压缩SR框架是否与多种结构正则化方法兼容？

主要发现

• 在Permuted-MNIST上，Sketched SR显著优于对角SR：使用EWC时平均准确率达到89.8%（对角SR为88.3%），使用MAS时达到90.4%（对角SR为86.7%）。
• 在CIFAR-100上，Sketched SR使用EWC实现93.6%的平均准确率（对角SR为90.8%），使用MAS实现93.2%（对角SR为89.9%）。
• 即使压缩大小仅为 $ t = 50 $，Sketched SR仍持续优于对角SR，展现出良好的实际效率与有效性。
• 在合成任务中，与完整经验Fisher矩阵相比，Sketched SR的近似误差平均仅为8.1%（对角SR为94.7%）。
• 该方法在不同架构和数据集上均表现稳健，在CIFAR-100上对任务1和任务2的性能均实现一致提升。
• 该框架计算高效且可扩展，避免了PCA等低秩近似方法的高成本，同时实现了更优的近似质量。