[论文解读] Gaussian Process Regression Networks

Andrew Gordon Wilson, David A. Knowles+1 more|arXiv (Cornell University)|Oct 19, 2011

Gaussian Processes and Bayesian Inference参考文献 44被引用 122

一句话总结

Gaussian Process Regression Networks (GPRN) 提出了一种新颖的回归框架，将贝叶斯神经网络与高斯过程相结合，以建模输入相关的信号和噪声相关性、长度尺度、振幅以及重尾预测分布。该方法在多输出和多变量波动率建模方面表现卓越，在基准数据集上优于八种多任务高斯过程模型和三种波动率模型，包括一个1000维的基因表达数据集。

ABSTRACT

We introduce a new regression framework, Gaussian process regression networks (GPRN), which combines the structural properties of Bayesian neural networks with the non-parametric flexibility of Gaussian processes. This model accommodates input dependent signal and noise correlations between multiple response variables, input dependent length-scales and amplitudes, and heavy-tailed predictive distributions. We derive both efficient Markov chain Monte Carlo and variational Bayes inference procedures for this model. We apply GPRN as a multiple output regression and multivariate volatility model, demonstrating substantially improved performance over eight popular multiple output (multi-task) Gaussian process models and three multivariate volatility models on benchmark datasets, including a 1000 dimensional gene expression dataset.

研究动机与目标

• 开发一种灵活的回归框架，以捕捉多输出之间随输入变化的信号和噪声相关性。
• 将贝叶斯神经网络的结构适应性与高斯过程的非参数表达能力相结合。
• 在不引起数值不稳定性的情况下，实现对输入相关长度尺度、振幅以及重尾预测分布的建模。
• 通过马尔可夫链蒙特卡洛（MCMC）和变分贝叶斯（VB）方法实现高效推理。
• 在真实世界中的多输出和多变量波动率数据集上，相比现有模型展现出更优的预测性能。

提出的方法

• GPRN 将输出建模为通过权重矩阵 W(x) 对潜变量高斯过程进行线性变换，其中 W(x) 本身是一组独立的高斯过程。
• 通过 W(x) 和加性噪声项 σ_f 与 σ_y，模型引入了输入相关的信号和噪声相关性，从而支持灵活的非平稳协方差结构。
• 输出的联合分布被推导为层次化高斯过程模型，预测分布通过在潜函数和权重上进行边缘化计算得出。
• 采用具有条件共轭性的吉布斯采样实现高效的MCMC推理，而变分贝叶斯则采用均值场近似并辅以超参数的解析更新。
• 通过允许噪声分布为学生t分布或拉普拉斯分布，该方法支持非高斯噪声，增强了对异常值的鲁棒性。
• 通过变分后验的期望计算预测分布，实现解析化推断，从而实现快速且稳定的推理。

实验结果

研究问题

• RQ1 结合贝叶斯神经网络与高斯过程的混合模型是否能有效建模多输出回归中随输入变化的信号和噪声相关性？
• RQ2 在具有复杂相关结构的真实数据集上，GPRN 相较于现有多种任务高斯过程模型表现如何？
• RQ3 GPRN 是否能够在保持计算效率和数值稳定性的同时，捕捉输入相关的长度尺度和振幅？
• RQ4 引入重尾噪声分布是否能提升预测建模对异常值的鲁棒性？
• RQ5 在高维回归任务中，MCMC 与变分贝叶斯推理方法在准确性和可扩展性方面如何比较？

主要发现

• GPRN 在基因表达和地统计数据集上显著优于八种流行的多任务高斯过程模型，包括一个1000维的基因表达数据集。
• 在金融基准数据集上，GPRN 的表现明显优于三种多变量波动率模型，展现出强大的预测准确性。
• 该模型成功捕捉了输入相关的信号和噪声相关性，从而在响应变量具有相关性的场景中实现了更优的预测。
• MCMC 和变分贝叶斯推理方法均表现有效，其中MCMC在多变量波动率实验中对噪声进行指数化处理时展现出更好的数值稳定性。
• 使用重尾噪声分布（如学生t分布）显著增强了对异常值的鲁棒性，尤其在具有重尾误差结构的金融数据中表现突出。
• 对权重 W(x) 进行指数化处理可提升MCMC的数值稳定性，但并未显著提高实际性能，表明该模型对多重模态具有内在鲁棒性。