[论文解读] Generalized Spectral Mixture Kernels for Multi-Task Gaussian Processes

Kai Chen, P. Groot+2 more|arXiv (Cornell University)|Aug 3, 2018

Gaussian Processes and Bayesian Inference参考文献 40被引用 4

一句话总结

本文提出广义谱混合核用于多任务高斯过程，以建模非线性任务相关性及谱分量之间的依赖关系，包括时间延迟和相位延迟。通过将广义卷积谱混合与核心化结合，该方法在提升模型表达能力的同时增强了可解释性，在合成数据和真实世界数据上均优于现有的多任务高斯过程方法。

ABSTRACT

Multi-Task Gaussian processes (MTGPs) have shown a significant progress both in expressiveness and interpretation of the relatedness between different tasks: from linear combinations of independent single-output Gaussian processes (GPs), through the direct modeling of the cross-covariances such as spectral mixture kernels with phase shift, to the design of multivariate covariance functions based on spectral mixture kernels which model delays among tasks in addition to phase differences, and which provide a parametric interpretation of the relatedness across tasks. In this paper we further extend expressiveness and interpretability of MTGPs models and introduce a new family of kernels capable to model nonlinear correlations between tasks as well as dependencies between spectral mixtures, including time and phase delay. Specifically, we use generalized convolution spectral mixture kernels for modeling dependencies at spectral mixture level, and coupling coregionalization for discovering task level correlations. The proposed kernels for MTGP are validated on artificial data and compared with existing MTGPs methods on three real-world experiments. Results indicate the benefits of our more expressive representation with respect to performance and interpretability.

研究动机与目标

• 通过建模任务之间的复杂非线性相关性，提升多任务高斯过程（MTGP）的表达能力与可解释性。
• 解决现有MTGP方法在假设任务间为线性或时移关系方面的局限性。
• 不仅建模任务之间的依赖关系，还建模谱混合分量之间的依赖关系，如时间延迟与相位偏移。
• 通过统一的核框架，提供任务相关性的参数化、可解释表示。
• 在合成数据和真实世界多任务回归问题上验证所提出核函数的有效性。

提出的方法

• 该方法采用广义卷积谱混合核，以建模跨任务的谱分量之间的依赖关系，支持非线性关系的建模。
• 通过核心化机制，利用共享基函数发现并表示任务层面的相关性。
• 核函数的构建允许通过谱混合参数建模任务之间的时移与相位延迟。
• 该方法将谱混合核与结构化协方差函数结合，以捕捉任务间及谱分量内部的依赖关系。
• 通过标准高斯过程推理与边缘似然优化进行模型训练，实现核超参数的端到端学习。
• 该框架通过可识别的谱分量与耦合参数，支持对任务相关性的参数化解释。

实验结果

研究问题

• RQ1 广义谱混合核是否能比现有MTGP方法更有效地建模任务之间的非线性相关性？
• RQ2 该模型在多大程度上能通过谱分量依赖关系捕捉任务之间的时移与相位延迟？
• RQ3 与基线MTGP相比，所提出的核函数在真实世界多任务回归任务中是否能提升预测性能？
• RQ4 该模型是否能通过可识别的谱参数提供关于任务相关性的可解释洞察？
• RQ5 广义卷积与核心化的结合在多任务高斯过程中如何同时提升表达能力与可解释性？

主要发现

• 所提出的广义谱混合核在三个真实世界多任务回归数据集上显著优于现有MTGP方法，提升了预测性能。
• 该模型成功捕捉了线性或相位偏移模型无法表达的非线性任务相关性。
• 通过谱分量依赖关系引入时间延迟与相位延迟建模，使任务关系估计更加准确。
• 核函数的参数化结构使任务相关性分析具有可解释性，例如可识别主导频率分量与延迟。
• 在合成数据上，模型能准确恢复任务之间真实的谱关系与时间关系。
• 该方法在多种多任务学习场景中表现出鲁棒性与泛化能力，包括具有复杂任务间依赖关系的场景。