[论文解读] MAGMA: Inference and Prediction with Multi-Task Gaussian Processes

Arthur Leroy, Pierre Latouche+2 more|arXiv (Cornell University)|Jul 21, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用 2

一句话总结

该论文提出 Magma，一种新颖的多任务高斯过程框架，通过将公共均值过程建模为具有可处理后验超参数推断的高斯过程，从而提升时间序列预测性能。利用期望最大化（EM）算法，Magma 实现了在不规则观测下的不确定性感知、计算高效的跨任务预测，相较于标准多任务高斯过程模型，显著提升了多步预测性能。

ABSTRACT

A novel multi-task Gaussian process (GP) framework is proposed, by using a common mean process for sharing information across tasks. In particular, we investigate the problem of time series forecasting, with the objective to improve multiple-step-ahead predictions. The common mean process is defined as a GP for which the hyper-posterior distribution is tractable. Therefore an EM algorithm is derived for handling both hyper-parameters optimisation and hyper-posterior computation. Unlike previous approaches in the literature, the model fully accounts for uncertainty and can handle irregular grids of observations while maintaining explicit formulations, by modelling the mean process in a unified GP framework. Predictive analytical equations are provided, integrating information shared across tasks through a relevant prior mean. This approach greatly improves the predictive performances, even far from observations, and may reduce significantly the computational complexity compared to traditional multi-task GP models. Our overall algorithm is called extsc{Magma} (standing for Multi tAsk Gaussian processes with common MeAn). The quality of the mean process estimation, predictive performances, and comparisons to alternatives are assessed in various simulated scenarios and on real datasets.

研究动机与目标

• 解决标准多任务高斯过程模型在多步预测时间序列任务中的局限性。
• 提升对稀疏观测或不规则采样时间序列的预测性能。
• 开发一种可处理的推断方法，全面考虑共享均值过程中的不确定性。
• 通过利用统一的高斯过程框架对公共均值进行建模，实现高效计算。
• 提供解析的预测公式，通过共享的、信息丰富的先验均值整合跨任务的信息。

提出的方法

• 将公共均值过程建模为具有层次先验的高斯过程，以实现不确定性量化。
• 通过独立的核函数和超参数定义任务特定的协方差结构，同时在任务间共享均值过程。
• 推导出一种期望最大化（EM）算法，联合优化超参数并计算公共均值过程的后验超分布。
• 使用解析边际化方法计算均值过程的后验分布，避免昂贵的马尔可夫链蒙特卡洛（MCMC）采样。
• 在E步中使用公共均值过程后验均值与协方差的闭式表达式。
• 整合预测公式，将共享均值中的不确定性传播至任务特定的预测中。

实验结果

研究问题

• RQ1 与独立或标准多任务高斯过程模型相比，共享的高斯过程均值过程是否能提升多步预测时间序列的性能？
• RQ2 在多任务设置中，如何高效地量化并传播公共均值过程中的不确定性？
• RQ3 将公共均值建模为具有可处理后验超参数推断的高斯过程，是否能提升预测准确性，尤其是在稀疏或不规则观测数据中？
• RQ4 所提出的基于EM的推断算法是否能在处理复杂、高维多任务时间序列的同时保持计算效率？
• RQ5 跨任务共享与独立的超参数对模型性能与泛化能力有何影响？

主要发现

• Magma 显著提升了多步预测的性能，即使在远离观测点的数据点上也表现优异。
• 通过利用解析推断和统一的高斯过程框架对公共均值进行建模，Magma 相较于传统多任务高斯过程模型降低了计算复杂度。
• EM算法实现了超参数的联合优化与后验超分布的计算，且更新过程具有可处理的闭式解。
• 公共均值过程有效实现了任务间的知识共享，从而提升了稀疏观测个体的预测鲁棒性。
• 在模拟数据和真实数据集上的实证结果表明，Magma 在预测准确性和不确定性校准方面均优于基线多任务高斯过程模型。
• R 包 MagmaClustR 已公开发布，支持方法的可复现性与实际应用。