[论文解读] Functional Regularisation for Continual Learning with Gaussian Processes

Michalis K. Titsias, Jonathan Schwarz+3 more|arXiv (Cornell University)|Jan 31, 2019

Gaussian Processes and Bayesian Inference参考文献 48被引用 66

一句话总结

本文提出一种持续学习框架，通过维持并利用对任务特定函数的高斯过程后验（通过诱导点）来在函数空间中对学习进行正则化，从而防止遗忘。

ABSTRACT

We introduce a framework for Continual Learning (CL) based on Bayesian inference over the function space rather than the parameters of a deep neural network. This method, referred to as functional regularisation for Continual Learning, avoids forgetting a previous task by constructing and memorising an approximate posterior belief over the underlying task-specific function. To achieve this we rely on a Gaussian process obtained by treating the weights of the last layer of a neural network as random and Gaussian distributed. Then, the training algorithm sequentially encounters tasks and constructs posterior beliefs over the task-specific functions by using inducing point sparse Gaussian process methods. At each step a new task is first learnt and then a summary is constructed consisting of (i) inducing inputs -- a fixed-size subset of the task inputs selected such that it optimally represents the task -- and (ii) a posterior distribution over the function values at these inputs. This summary then regularises learning of future tasks, through Kullback-Leibler regularisation terms. Our method thus unites approaches focused on (pseudo-)rehearsal with those derived from a sequential Bayesian inference perspective in a principled way, leading to strong results on accepted benchmarks.

研究动机与目标

• 通过在函数空间而非参数空间中操作，激发持续学习以避免灾难性遗忘。
• 提出一种可扩展的贝叶斯方法，使用稀疏高斯过程来总结并保留任务知识。
• 通过诱导点摘要和KL正则化，将回放式与贝叶斯持续学习统一起来。
• 通过任务变化检测机制，在任务边界未知的情况下实现顺序任务学习。

提出的方法

• 将神经网络的最终层建模为随机且高斯分布，从而在任务特定函数上引入高斯过程。
• 使用诱导点为每个任务获得一个稀疏变分GP近似。
• 为每个任务 i 维持并优化对诱导点函数值的变分分布 q(u_i)。
• 通过 KL(q(u_i) || p_θ(u_i)) 项对新任务的学习进行正则化，累积到过去的任务。
• 在学习任务 k 时，优化一个 ELBO，其中包含当前任务的似然以及所有先前任务的 KL 项。
• 可选地对当前任务执行权重空间推断以提高后验精度，然后提取诱导点摘要用于正则化。

实验结果

研究问题

• RQ1 FRCL 是否在标准持续学习基准上达到最先进的性能？
• RQ2 诱导点选择标准对性能和扩展性的重要性有多大？
• RQ3 该方法是否能利用贝叶斯不确定性自动检测任务边界？
• RQ4 函数空间正则化与权重空间正则化以及回放方法相比有何差异？
• RQ5 每个任务的诱导点数量对准确性和遗忘有何影响？

主要发现

• 在他们的实验中，FRCL取得了出色的结果并在 Permuted-MNIST 和 Omniglot 基准上创造了新的最先进性能。
• 对任务函数值的近似后验分布比简单的回放缓冲提供更有效的正则化。
• 诱导点优化（尤其是基于迹的准则）在诱导集合规模减小时显著提升性能。
• FRCL中的预测会自动适应特征表示的变化，抵消对先前任务的遗忘。
• 经优化时，诱导点往往在不同类别间分布，支持多样的任务表示。
• 基于回放的基线是强有力的竞争者，但FRCL提供了具有原则性的、不确定性感知的正则化，能与回放缓冲互补。