[论文解读] Continual Learning in Deep Neural Network by Using a Kalman Optimiser

Honglin Li, Shirin Enshaeifar+2 more|arXiv (Cornell University)|May 20, 2019

Anomaly Detection Techniques and Applications参考文献 21被引用 6

一句话总结

本文提出一种卡尔曼优化器，用于深度神经网络中的持续学习，通过将网络参数划分为长期记忆（LTM）和短期记忆（STM）单元，以缓解灾难性遗忘。该方法利用梯度的不确定性估计，保留先前学习的知识，同时适应新任务，在MNIST、CIFAR10和CIFAR100上对连续任务实现了高精度保留。

ABSTRACT

Learning and adapting to new distributions or learning new tasks sequentially without forgetting the previously learned knowledge is a challenging phenomenon in continual learning models. Most of the conventional deep learning models are not capable of learning new tasks sequentially in one model without forgetting the previously learned ones. We address this issue by using a Kalman Optimiser. The Kalman Optimiser divides the neural network into two parts: the long-term and short-term memory units. The long-term memory unit is used to remember the learned tasks and the short-term memory unit is to adapt to the new task. We have evaluated our method on MNIST, CIFAR10, CIFAR100 datasets and compare our results with state-of-the-art baseline models. The results show that our approach enables the model to continually learn and adapt to the new changes without forgetting the previously learned tasks.

研究动机与目标

• 解决持续学习中的灾难性遗忘问题，即模型在学习新数据时性能在先前学习任务上下降。
• 克服标准深度学习模型的局限性，后者要求所有任务同时训练或从头开始重新训练。
• 开发一种优化方法，在无需存储旧数据的情况下，保留过去任务的知识，同时高效适应新任务。
• 将不确定性估计整合到训练过程中，以指导参数更新，提升在连续学习中的稳定性。
• 提出一种新颖的优化器，利用卡尔曼滤波原理，根据任务特定的重要性和不确定性动态控制参数更新。

提出的方法

• 将神经网络划分为长期记忆（LTM）和短期记忆（STM）单元，其中LTM用于保留已学习的知识，而STM用于适应新任务。
• 使用基于梯度的不确定性估计，识别对先前学习任务最关键的参数，并将其分配给LTM。
• 应用卡尔曼滤波更新规则调整参数，其中LTM参数以受控的、保守的调整方式更新，以防止遗忘。
• 为每个任务维护参数不确定性的动态估计，仅更新与当前任务相关的参数的不确定性。
• 实现多头损失机制，仅对当前任务的类别计算损失，从而实现高效连续训练，避免干扰。
• 使用卡尔曼更新过程平衡学习速度与稳定性，使STM参数能够快速适应，而LTM参数保持稳定。

实验结果

研究问题

• RQ1 基于卡尔曼滤波的优化器是否能有效减少持续学习场景中的灾难性遗忘？
• RQ2 将参数划分为长期记忆和短期记忆单元在多大程度上改善了在连续任务中的知识保留？
• RQ3 从梯度中估计的不确定性在多大程度上能增强参数稳定性并防止先前任务上的性能下降？
• RQ4 与当前最先进的持续学习基线方法相比，该方法在MNIST、CIFAR10和CIFAR100等标准基准上的表现如何？
• RQ5 该卡尔曼优化器是否能在不存储过去数据的情况下，维持学习新任务时所有任务的高平均准确率？

主要发现

• 在不相交的MNIST实验中，卡尔曼优化器在训练完全部五个任务后，对先前学习任务的准确率仍保持接近完美的水平（接近1.0）。
• 在不相交的CIFAR10实验中，所提方法实现了稳步提升的分数准确率（所有先前任务的平均性能），而基线模型的性能则持续下降。
• 在CIFAR100中，任务被划分为十类子集，使用卡尔曼优化器的模型成功保持了早期任务的性能，表现出对任务转移和类别不平衡的鲁棒性。
• 所提方法的平均准确率在所有任务上保持高水平，并随时间推移持续提升，表明实现了有效的持续学习且无性能崩溃。
• 该方法显著减少了遗忘，尤其在类别分布不重叠的场景下，优于标准训练和基线模型。
• 基于不确定性的参数分组与卡尔曼更新机制成功稳定了学习过程，防止了导致灾难性遗忘的大规模参数偏移。