[论文解读] Latent Correlation Gaussian Processes

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference被引用 1

一句话总结

本文提出了一种潜在相关高斯过程（LCGP）模型，通过非平稳核函数和输入相关的混合矩阵，捕捉多个潜在过程之间的输入依赖相关性。通过采用变分贝叶斯推断，LCGP在多输出回归与分类任务中实现了最先进性能，尤其在EEG数据中揭示了有意义的潜在脑区活动耦合关系。

ABSTRACT

We introduce a novel kernel that models input-dependent couplings across multiple latent processes. The pairwise joint kernel measures covariance along inputs and across different latent signals in a mutually-dependent fashion. A latent correlation Gaussian process (LCGP) model combines these non-stationary latent components into multiple outputs by an input-dependent mixing matrix. Probit classification and support for multiple observation sets are derived by Variational Bayesian inference. Results on several datasets indicate that the LCGP model can recover the correlations between latent signals while simultaneously achieving state-of-the-art performance. We highlight the latent covariances with an EEG classification dataset where latent brain processes and their couplings simultaneously emerge from the model.

研究动机与目标

• 建模多输出高斯过程回归中多个潜在过程之间的复杂、输入依赖相关性。
• 解决标准GP模型在捕捉潜在函数之间动态、非平稳耦合关系方面的局限性。
• 实现从多个观测集合中联合学习共享潜在结构。
• 通过变分贝叶斯方法推导可扩展的推断框架，适用于分类与回归任务。

提出的方法

• LCGP模型采用一种新颖的成对联合核函数，以相互依赖的方式编码输入与潜在过程之间的协方差。
• 引入输入相关的混合矩阵，将非平稳潜在分量组合为多个输出。
• 模型采用变分贝叶斯推断，实现对probit分类与多个观测集合的近似后验估计。
• 核结构允许灵活、数据驱动地发现潜在信号依赖关系，而无需假设固定的相关模式。
• 该框架通过学习具有动态耦合的共享潜在表示，支持多输出预测。
• 推断过程支持端到端训练，并在潜在过程相关性上实现可扩展优化。

实验结果

研究问题

• RQ1 高斯过程模型能否有效捕捉多输出回归中多个潜在过程之间的输入依赖相关性？
• RQ2 LCGP模型在真实世界数据（如EEG信号）中，能否准确恢复真实的潜在信号耦合关系？
• RQ3 引入输入依赖的混合是否能提升预测性能，相比标准GP模型？
• RQ4 LCGP模型能否在学习共享潜在结构的同时，联合处理多个观测集合？
• RQ5 通过模型学习的相关性，能否揭示EEG数据中潜在脑区活动的深层机制？

主要发现

• LCGP模型在多个基准数据集的多输出回归与分类任务中实现了最先进性能。
• 在EEG分类数据集上，该模型成功恢复了具有神经生物学合理性的潜在脑区活动及其动态耦合关系。
• 学习到的潜在协方差揭示了与神经生理学预期一致的脑区间有意义功能关系。
• 该模型在捕捉潜在函数之间非平稳、输入依赖的依赖关系方面表现出强鲁棒性与灵活性。
• 变分贝叶斯推断实现了高效且可扩展的训练，即使在多个观测集合下亦表现良好。
• LCGP模型在建模复杂、相关输出并具备可解释潜在结构方面，优于现有基于GP的方法。