[论文解读] Ensemble Multi-task Gaussian Process Regression with Multiple Latent Processes

Weitong Ruan, Eric L. Miller|arXiv (Cornell University)|Sep 22, 2017

Gaussian Processes and Bayesian Inference参考文献 1被引用 4

一句话总结

该论文提出了一种集成多任务高斯过程回归模型，将每个输出表示为多个潜在过程的加权混合，将协方差矩阵分解为任务权重与空间协方差矩阵之间的克罗内克积之和。该方法采用两阶段、可并行化的学习算法，结合小批量集成训练，在真实世界数据集上相比基线模型实现了17.9–23.7%的更低均方误差（MSE）和7.5–14.9%的更低平均绝对误差（MAE），同时支持集成先进的单任务GP方法。

ABSTRACT

Multi-task/Multi-output learning seeks to exploit correlation among tasks to enhance performance over learning or solving each task independently. In this paper, we investigate this problem in the context of Gaussian Processes (GPs) and propose a new model which learns a mixture of latent processes by decomposing the covariance matrix into a sum of structured hidden components each of which is controlled by a latent GP over input features and a "weight" over tasks. From this sum structure, we propose a parallelizable parameter learning algorithm with a predetermined initialization for the "weights". We also notice that an ensemble parameter learning approach using mini-batches of training data not only reduces the computation complexity of learning but also improves the regression performance. We evaluate our model on two datasets, the smaller Swiss Jura dataset and another relatively larger ATMS dataset from NOAA. Substantial improvements are observed compared with established alternatives.

研究动机与目标

• 解决现有多任务GP模型假设单一共享潜在过程的局限性，该假设限制了建模灵活性。
• 通过允许每个任务由多个潜在过程的混合生成，并使用数据驱动的权重，提升回归性能。
• 通过两阶段可并行化的学习算法结合小批量集成训练，降低计算复杂度并提升可扩展性。
• 设计一个框架，可无缝集成最先进的单任务GP算法至多任务学习中，而无需重新设计整个框架。

提出的方法

• 该模型将联合协方差矩阵表示为任务特定权重向量与各潜在过程空间协方差矩阵之间克罗内克积的和。
• 每个任务的输出被建模为多个潜在高斯过程的线性组合，其中权重由数据学习得到，从而实现对共享表示的灵活、任务特定的混合。
• 提出一种两阶段学习算法：第一阶段，为每个任务独立训练高斯过程以初始化潜在过程参数；第二阶段，使用所有任务的小批量集成学习权重。
• 集成方法使用在不同小批量上训练的多个回归器，最终预测结果取平均，从而降低方差，并意外地提升了准确率。
• 该算法具有可并行性：第一阶段可并行训练各任务的潜在过程，第二阶段使用小批量处理以实现计算扩展。
• 该框架与现代GP技术（如稀疏GP、变分推断和分布式GP专家模型）兼容，支持直接集成先进的单任务方法。

实验结果

研究问题

• RQ1 将每个任务建模为多个潜在过程的混合，是否能超越单潜在过程模型，在多任务回归性能上实现提升？
• RQ2 在多任务GP框架中使用小批量集成训练，是否能在降低计算成本的同时提升泛化能力和准确率？
• RQ3 所提出的两阶段、可并行化学习算法是否能有效扩展至更大规模数据集，同时保持模型表达能力？
• RQ4 该框架在不进行架构重构的前提下，能在多大程度上集成最先进的单任务GP算法至多任务设置中？

主要发现

• 所提出的EMGPR模型在瑞士朱拉数据集上，相比'无迁移'GP基线，平均平方误差（MSE）降低了17.9%。
• 在同一数据集上，EMGPR相比R₁=3的ICM模型，MSE降低了23.7%，表明在更高模型复杂度下仍具有更优性能。
• EMGPR在所有实验中均实现了最低的标准差（SD），表明其鲁棒性更强，方差更低，优于所有基线模型。
• 在平均绝对误差（MAE）方面，EMGPR相比表现最佳的ICM变体（ICM(R₁=1)) 提升8.8%，相比'无迁移'GP基线提升7.5%。
• 尽管小批量集成训练主要旨在提升计算效率，但其意外地提升了预测准确率，表明方差减少带来了有益的归纳偏置。
• 在全部10轮实验中，EMGPR均优于所有基线模型，展现出一致且可靠的性能提升。