[论文解读] Cluster-Specific Predictions with Multi-Task Gaussian Processes

Arthur Leroy, Pierre Latouche+2 more|arXiv (Cornell University)|Nov 16, 2020

Gaussian Processes and Bayesian Inference参考文献 48被引用 5

一句话总结

该论文提出 MagmaClust，一种多任务高斯过程模型，通过为每个聚类建模共享的均值过程和任务特定的协方差结构，联合执行功能性数据的聚类与预测。利用变分期望最大化（EM）算法，该方法在同时考虑聚类和均值函数不确定性的前提下，实现了聚类特定的预测，显著提升了在具有不规则采样点的群组结构数据上的性能。

ABSTRACT

A model involving Gaussian processes (GPs) is introduced to simultaneously handle multi-task learning, clustering, and prediction for multiple functional data. This procedure acts as a model-based clustering method for functional data as well as a learning step for subsequent predictions for new tasks. The model is instantiated as a mixture of multi-task GPs with common mean processes. A variational EM algorithm is derived for dealing with the optimisation of the hyper-parameters along with the hyper-posteriors' estimation of latent variables and processes. We establish explicit formulas for integrating the mean processes and the latent clustering variables within a predictive distribution, accounting for uncertainty on both aspects. This distribution is defined as a mixture of cluster-specific GP predictions, which enhances the performances when dealing with group-structured data. The model handles irregular grid of observations and offers different hypotheses on the covariance structure for sharing additional information across tasks. The performances on both clustering and prediction tasks are assessed through various simulated scenarios and real datasets. The overall algorithm, called MagmaClust, is publicly available as an R package.

研究动机与目标

• 开发一个统一框架，利用高斯过程同时对功能性数据执行聚类与预测。
• 通过假设跨聚类共享均值过程的多任务GP混合模型，对群组结构的功能性数据进行建模。
• 在潜在聚类分配和均值函数估计中引入不确定性，以实现稳健的预测推断。
• 处理现实世界功能性数据中常见的不规则采样网格。
• 为现有曲线聚类和多任务学习方法提供一种可扩展且概率化的替代方案。

提出的方法

• 该模型被表述为多任务高斯过程的混合模型，其中每个聚类具有共享的均值函数以及任务特定的噪声和协方差结构。
• 采用变分期望最大化（EM）算法来优化超参数，并近似潜变量与过程的后验分布。
• 推导出在预测分布中对均值过程和聚类指标进行积分的显式解析公式。
• 预测分布被表示为聚类特定GP预测的混合形式，从而实现不确定性感知的推断。
• 该方法支持灵活的协方差结构，以实现跨任务的信息共享，包括基于输入和任务索引的结构。
• 该算法已实现在公开的R包 MagmaClust 中，支持模拟数据和真实数据的处理。

实验结果

研究问题

• RQ1 是否能够构建一个统一的概率模型，联合执行功能性数据的聚类与预测，同时对两个组件的不确定性进行量化？
• RQ2 在群组结构的功能性数据上，通过在聚类间共享均值过程，如何提升预测性能？
• RQ3 变分EM方法在不规则采样功能性数据上的可扩展性和准确性如何？
• RQ4 任务和输入维度的不同协方差结构在聚类和预测性能方面有何影响？
• RQ5 该模型是否能在合成数据和真实世界功能性数据上，同时优于现有方法在聚类准确率和预测均方误差方面？

主要发现

• MagmaClust 通过结合聚类特定的GP预测与不确定性量化，在群组结构的功能性数据上实现了卓越的预测性能。
• 与基线方法相比，该方法显著提升了聚类准确率，尤其在数据表现出强组内相似性和组间异质性时效果更明显。
• 变分EM算法收敛稳定且高效，能够对具有不规则采样网格的大规模功能性数据集实现可扩展的推断。
• 在模拟场景中，该模型对噪声和不规则采样模式表现出鲁棒性，优于标准GP和聚类方法。
• 在真实数据（如游泳表现、GUSTO队列）上的实证评估证实了该方法的实际应用价值和预测优越性。
• R包 MagmaClust 已在CRAN和GitHub上公开发布，通过共享训练模型和结果实现了完全可复现性。