[论文解读] CPR: Classifier-Projection Regularization for Continual Learning

Sungmin Cha, Hsiang Hsu+3 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 19被引用 32

一句话总结

CPR 在现有基于正则化的持续学习方法中增加了一个分类器输出熵正则化项，将其解读为将输出投射向均匀分布，并在任务间经验性地提高了稳定性和可塑性。

ABSTRACT

We propose a general, yet simple patch that can be applied to existing regularization-based continual learning methods called classifier-projection regularization (CPR). Inspired by both recent results on neural networks with wide local minima and information theory, CPR adds an additional regularization term that maximizes the entropy of a classifier's output probability. We demonstrate that this additional term can be interpreted as a projection of the conditional probability given by a classifier's output to the uniform distribution. By applying the Pythagorean theorem for KL divergence, we then prove that this projection may (in theory) improve the performance of continual learning methods. In our extensive experimental results, we apply CPR to several state-of-the-art regularization-based continual learning methods and benchmark performance on popular image recognition datasets. Our results demonstrate that CPR indeed promotes a wide local minima and significantly improves both accuracy and plasticity while simultaneously mitigating the catastrophic forgetting of baseline continual learning methods. The codes and scripts for this work are available at https://github.com/csm9493/CPR_CL.

研究动机与目标

• 通过宽局部极小值来激励并解决持续学习中的灾难性遗忘。
• 引入一种通用的正则化补丁（CPR），在分类器输出中促进熵增。
• 提供对 CPR 的信息投影至均匀分布的理论解释。
• 通过在标准基准数据集上将 CPR 应用于多种基于正则化的CL方法来证明其有效性。
• 展示 CPR 在跨任务和跨领域中同时提高稳定性（遗忘）和可塑性（前向迁移）。

提出的方法

• 将 CPR 定义为交叉熵损失、驱动输出朝向均匀分布的 KL 散度项，以及历史权重正则化项之和。
• 将 CPR 解释为分类器输出朝向以均匀分布为中心的凸集的 I-投影。
• 用 KL 散度投影框架以及 KL 的毕达哥拉斯型关系来为该方法提供理论依据。
• 将 CPR 应用于若干基线正则化型 CL 方法（EWC、SI、MAS、RWalk、AGS-CL），并在多个数据集上进行评估。
• 使用消融实验和特征图可视化来分析 CPR 在促进宽局部极小值和鲁棒性方面的作用。
• 将评估扩展到在 Atari 任务上使用带 CPR 的 PPO 的持续强化学习实验。

实验结果

研究问题

• RQ1 添加分类器投射正则化项是否比标准正则化基 CL 方法更能提升持续学习性能？
• RQ2 CPR 如何影响连续任务学习中的稳定性（遗忘）和可塑性（前向迁移）？
• RQ3 是否可以将 CPR 解释为对均匀分布周围的 KL-球上的信息投影，这是否为其有效性提供理论依据？
• RQ4 当与现有 CL 方法结合时，CPR 是否在多样的数据集和学习域（监督学习与强化学习）中都有效？

主要发现

• CPR 在测试的基于正则化的 CL 方法和数据集上，平均准确率表现出稳定提升。
• CPR 在提供的度量下减少遗忘（稳定性），并提升可塑性（前向迁移）。
• 实证分析表明，CPR 相比基线方法产生了更宽的损失景观（更宽的局部极小值）。
• CPR 可以解释为在 KL-球内将分类器输出投射向均匀分布，为其收益提供了有理论依据的解释。
• 消融研究表明从第一任务开始应用 CPR 对后续任务有显著收益。