[论文解读] Latent Gaussian Process Regression

Erik Bodin, Campbell, Neill D. F.+1 more|arXiv (Cornell University)|Jul 18, 2017

Gaussian Processes and Bayesian Inference参考文献 10被引用 8

一句话总结

本文提出潜在高斯过程回归，一种通过引入潜变量来建模非平稳和多模态数据的高斯过程扩展方法，可使用任意基础核函数。通过蒙特卡洛近似对潜变量进行边缘化，该方法实现了对复杂数据结构的灵活非参数建模，且不会导致参数过度膨胀，在合成数据、动作捕捉数据和地统计学数据上均优于标准高斯过程。

ABSTRACT

We introduce Latent Gaussian Process Regression which is a latent variable extension allowing modelling of non-stationary multi-modal processes using GPs. The approach is built on extending the input space of a regression problem with a latent variable that is used to modulate the covariance function over the training data. We show how our approach can be used to model multi-modal and non-stationary processes. We exemplify the approach on a set of synthetic data and provide results on real data from motion capture and geostatistics.

研究动机与目标

• 为解决标准高斯过程在建模非平稳和多模态数据时的局限性，即全局平稳性假设不成立的问题。
• 开发一个统一框架，使单个高斯过程能够建模多个潜在过程，而不会导致参数数量爆炸性增长。
• 通过用高效的蒙特卡洛近似替代解析期望，实现对复杂、不可解析计算协方差函数的可处理推理。
• 在合成数据、动作捕捉序列和真实世界地统计学数据（如Jura矿区矿物浓度）上展示该方法的有效性。

提出的方法

• 引入一个调节输入空间的潜变量，使协方差函数能基于隐藏成分分配实现局部自适应。
• 使用由基础协方差函数（如平方指数）乘积构成的分解核函数，每个基础核函数与一个潜成分相关联。
• 采用变分推理框架，通过蒙特卡洛采样对潜变量进行边缘化，而非解析计算。
• 通过从潜空间导出的成分概率分布，实现对观测值到成分的概率分配。
• 利用后验预测分布为每个成分生成预测，从而实现从单一输入空间进行多模态回归。
• 利用基于采样的近似方法，使原本不可计算的协方差函数在计算上变得可行。

实验结果

研究问题

• RQ1 潜在变量扩展是否能在不增加模型复杂度的前提下，使高斯过程能够建模非平稳和多模态数据？
• RQ2 如何利用潜成分分配将单一信号分解为多个潜在过程？
• RQ3 蒙特卡洛方法是否能有效替代变分高斯过程推理中复杂协方差结构的解析期望？
• RQ4 该方法在真实世界非平稳和多模态数据上的泛化能力是否优于标准高斯过程？

主要发现

• 该方法通过将观测值分解为由不同高斯过程分别控制的独立成分，成功建模了多模态数据，如在叠加正弦波的合成数据上所展示。
• 在动作捕捉数据上，该模型通过将观测值分配到不同潜成分，捕捉了不同的运动模式，其预测精度优于标准高斯过程。
• 在地统计学应用（Jura数据集）中，该模型通过各成分特定的方差建模局部非平稳性，避免了在噪声区域的过度自信预测。
• 蒙特卡洛边缘化方法使复杂、不可解析协方差函数的推理成为可能，使该方法在真实世界数据中具备可扩展性和实用性。
• 后验成分概率揭示了潜在过程的空间变化混合模式，如矿物数据中的高浓度和低浓度区域，而标准高斯过程无法捕捉此类特征。