[论文解读] Continual Multi-task Gaussian Processes

Pablo Moreno-Muñoz, Antonio Artés-Rodrı́guez+1 more|arXiv (Cornell University)|Oct 31, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用 8

一句话总结

本文提出了一种可扩展的持续多任务高斯过程框架，通过使用诱导输入的变分推理递归更新GP先验，实现在线学习。该方法引入了新颖的KL散度以及变分后验的递归分解，实现了对流式、异构或多通道序列数据的可 tractable 且具备不确定性感知的学习，展示了在合成数据集和真实世界数据集上的稳健性能。

ABSTRACT

We address the problem of continual learning in multi-task Gaussian process (GP) models for handling sequential input-output observations. Our approach extends the existing prior-posterior recursion of online Bayesian inference, i.e.\ past posterior discoveries become future prior beliefs, to the infinite functional space setting of GP. For a reason of scalability, we introduce variational inference together with an sparse approximation based on inducing inputs. As a consequence, we obtain tractable continual lower-bounds where two novel Kullback-Leibler (KL) divergences intervene in a natural way. The key technical property of our method is the recursive reconstruction of conditional GP priors conditioned on the variational parameters learned so far. To achieve this goal, we introduce a novel factorization of past variational distributions, where the predictive GP equation propagates the posterior uncertainty forward. We then demonstrate that it is possible to derive GP models over many types of sequential observations, either discrete or continuous and amenable to stochastic optimization. The continual inference approach is also applicable to scenarios where potential multi-channel or heterogeneous observations might appear. Extensive experiments demonstrate that the method is fully scalable, shows a reliable performance and is robust to uncertainty error propagation over a plenty of synthetic and real-world datasets.

研究动机与目标

• 为解决多任务高斯过程在序列化、非独立同分布输入-输出观测下的持续学习挑战。
• 实现在无限维GP函数空间中的递归贝叶斯更新，而无需重新访问过去数据。
• 确保在包括离散和连续观测在内的多种数据类型中，不确定性传播的可扩展性与鲁棒性。
• 在统一的在线学习框架中支持异构或多通道观测。
• 开发一种可 tractable 的推理方法，通过稀疏GP近似在时间维度上保持预测不确定性。

提出的方法

• 该方法通过基于先前学习的变分参数递归重构条件GP先验，将在线贝叶斯推理扩展至GP模型。
• 采用使用诱导输入的稀疏近似进行变分推理，以确保计算可 tractable。
• 对过去变分后验的新型分解方式，实现了后验不确定性在时间维度上的前向传播。
• 引入两种新的Kullback-Leibler（KL）散度，以约束当前变分近似相对于前一时刻的近似，确保学习的稳定性。
• 该框架支持随机优化，适用于具有各种似然函数的回归与分类任务。
• 使用VEM（变分期望-最大化）算法，每个时间步最多迭代5次以优化变分参数。

实验结果

研究问题

• RQ1 是否能够无需重新访问过去数据，对多任务GP模型进行持续在线更新？
• RQ2 在函数空间设置下，如何可靠地将后验不确定性在时间维度上传播？
• RQ3 在变分推理框架中引入新型KL散度对持续学习有何影响？
• RQ4 该方法在不同数据类型（包括流式、重叠和异步观测）下的可扩展性如何？
• RQ5 该框架在真实世界场景中能否有效处理异构或多通道观测？

主要发现

• 该方法在10个不同的合成与真实世界数据集上实现了完全可扩展的持续学习，并保持了稳定的不确定性传播。
• 在流式、重叠和增量数据序列上的实验表明，该方法具有稳定的性能，预测误差低且不确定性估计稳健。
• 即使诱导点数量随时间线性增加，模型仍能保持可靠的预测准确性，性能无退化。
• 在MOCAP和太阳能数据集上，该框架成功建模了具有多输出和非平稳特性的复杂时间动态。
• 香蕉分类实验表明，通过阈值化概率输出，模型实现了准确的二分类预测，并具备良好的不确定性校准。
• 同步与异步多任务回归实验验证了该方法在共享潜在函数和不同噪声水平下建模相关输出的能力。