[论文解读] Consistency is the key to further mitigating catastrophic forgetting in continual learning

Prashant Bhat, Bahram Zonooz+1 more|arXiv (Cornell University)|Jul 11, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出将一致性正则化整合到经验回放（ER）中，用于持续学习，利用缓冲样本的软标签预测来稳定学习过程并减少灾难性遗忘。通过强制对存储数据的增强视图保持一致的预测，该方法提升了泛化能力、校准性能和鲁棒性——尤其在低缓冲设置下表现更优，相较于基线ER方法在所有评估场景中均表现更佳，其中Minkowski距离与严格的一致性约束最为有效。

ABSTRACT

Deep neural networks struggle to continually learn multiple sequential tasks due to catastrophic forgetting of previously learned tasks. Rehearsal-based methods which explicitly store previous task samples in the buffer and interleave them with the current task samples have proven to be the most effective in mitigating forgetting. However, Experience Replay (ER) does not perform well under low-buffer regimes and longer task sequences as its performance is commensurate with the buffer size. Consistency in predictions of soft-targets can assist ER in preserving information pertaining to previous tasks better as soft-targets capture the rich similarity structure of the data. Therefore, we examine the role of consistency regularization in ER framework under various continual learning scenarios. We also propose to cast consistency regularization as a self-supervised pretext task thereby enabling the use of a wide variety of self-supervised learning methods as regularizers. While simultaneously enhancing model calibration and robustness to natural corruptions, regularizing consistency in predictions results in lesser forgetting across all continual learning scenarios. Among the different families of regularizers, we find that stricter consistency constraints preserve previous task information in ER better.

研究动机与目标

• 解决在标准经验回放表现欠佳的低缓冲设置下，持续学习中的灾难性遗忘问题。
• 探究一致性正则化对软标签预测的改进如何提升基于ER的持续学习中的知识保留能力。
• 评估多种一致性正则化器的有效性，包括Minkowski距离、KL散度、MSE以及自监督掩码任务。
• 分析一致性正则化对模型校准性能、对分布偏移的鲁棒性，以及缓解任务新近性偏差的影响。

提出的方法

• 在缓冲区中存储模型预测（软标签）以及输入图像和真实标签，用于先前任务的数据。
• 在训练过程中，通过惩罚缓冲样本原始视图与增强视图之间预测偏差的方式，应用一致性正则化。
• 使用多种一致性正则化器：Lp范数（Minkowski）、KL散度和MSE，以比较正则化效果。
• 将一致性正则化视为一种自监督掩码任务，使先进的自监督学习方法可作为正则化器集成。
• 使用带有一致性正则化的ER在顺序任务上训练模型，并在持续学习基准上评估性能。
• 通过期望校准误差（ECE）分析模型校准性能，通过CIFAR-10-C评估鲁棒性，通过归一化任务级预测概率分析任务新近性偏差。

实验结果

研究问题

• RQ1 在低缓冲条件下，软标签预测的一致性正则化如何提升经验回放中的知识保留能力？
• RQ2 哪类一致性正则化器家族（如Lp、KL、MSE）在持续学习中能实现最强的遗忘缓解效果？
• RQ3 自监督学习方法能否被有效重用于作为基于ER的持续学习中的一致性正则化器？
• RQ4 一致性正则化在多大程度上提升了模型校准性能和对自然噪声的鲁棒性？
• RQ5 一致性正则化是否能缓解持续学习中的任务新近性偏差？

主要发现

• 一致性正则化在所有持续学习场景中显著减少了灾难性遗忘，即使在低缓冲大小（如500个样本）下也表现优异。
• Minkowski距离函数（Lp范数）出人意料地高效且有效，其在遗忘缓解方面优于KL散度和MSE。
• 更严格的一致性约束能更有效地保留先前任务的知识，减少遗忘。
• 所有一致性正则化器均提升了模型校准性能，更严格约束使期望校准误差（ECE）相比基线ER减少最多一半。
• 一致性正则化增强了对自然噪声（如模糊、噪声）的鲁棒性（CIFAR-10-C数据集），在全部15种噪声类型下，模型性能均优于基线ER。
• 作为副产品，任务新近性偏差得到缓解，与基线ER的严重偏差预测相比，各任务的预测概率分布更加均衡。