[论文解读] Monte Carlo Implementation of Gaussian Process Models for Bayesian Regression and Classification

Radford M. Neal|ArXiv.org|Jan 28, 1997

Gaussian Processes and Bayesian Inference参考文献 17被引用 391

一句话总结

本文提出了一种高斯过程模型的蒙特卡洛实现方法，用于贝叶斯回归与分类，采用马尔可夫链蒙特卡洛（MCMC）采样以处理非高斯似然函数及分层超先验。该方法通过建模潜在变量和超参数，使数据集规模达约1,000个样本时仍能实现稳健推断，展示了在重尾噪声回归任务及具备自动输入相关性检测能力的分类任务中的性能提升。

ABSTRACT

Gaussian processes are a natural way of defining prior distributions over functions of one or more input variables. In a simple nonparametric regression problem, where such a function gives the mean of a Gaussian distribution for an observed response, a Gaussian process model can easily be implemented using matrix computations that are feasible for datasets of up to about a thousand cases. Hyperparameters that define the covariance function of the Gaussian process can be sampled using Markov chain methods. Regression models where the noise has a t distribution and logistic or probit models for classification applications can be implemented by sampling as well for latent values underlying the observations. Software is now available that implements these methods using covariance functions with hierarchical parameterizations. Models defined in this way can discover high-level properties of the data, such as which inputs are relevant to predicting the response.

研究动机与目标

• 通过MCMC方法将高斯过程模型扩展至非高斯似然函数，用于回归与分类任务。
• 实现对协方差函数参数的分层超先验的完整贝叶斯推断。
• 通过高效的矩阵运算与MCMC采样，支持在标准硬件上对规模达约1,000个样本的数据集应用高斯过程模型。
• 展示模型通过自适应超参数自动识别相关输入的能力。
• 提供免费的软件工具，供研究与教学使用，支持灵活的协方差函数与广义模型。

提出的方法

• 采用潜在变量表示法处理非高斯似然函数，如t分布噪声及分类中的probit/logistic链接函数。
• 采用马尔可夫链蒙特卡洛（MCMC）采样，联合更新超参数、潜在变量与噪声方差。
• 在超参数上采用共轭先验分布，并使用吉布斯采样进行后验推断。
• 支持具有分层参数化的协方差函数，包括用于输入相关性检测的多个指数分量。
• 通过矩阵运算（如Cholesky分解）实现回归中预测均值与方差的计算。
• 在协方差矩阵条件不佳时，使用微扰（jitter）以稳定矩阵求逆过程。

实验结果

研究问题

• RQ1 能否通过MCMC方法有效将高斯过程模型扩展至t分布噪声和二值分类等非高斯似然函数？
• RQ2 对协方差函数参数施加分层超先验时，能否在回归与分类任务中自动识别相关输入变量？
• RQ3 在标准硬件上，使用标准方法将高斯过程模型应用于中等规模数据集（约1,000个样本）是否具备计算可行性？
• RQ4 与标准模型相比，采用MCMC推断的高斯过程模型在重尾噪声回归任务中的性能表现如何？
• RQ5 该框架能否支持灵活的分层协方差函数，以实现自动模型选择（如加法分解）？

主要发现

• 在含异常值的回归数据集中，t分布噪声模型的预测结果比高斯噪声模型更稳健且更准确，通过可视化检查及与真实函数的接近程度得到验证。
• MCMC实现成功处理了中等规模的分类问题，预测结果基于每次迭代的第5次采样（在100次预 burn-in 之后）。
• 软件实现表明，在标准硬件上对规模达约1,000个样本的数据集进行完整贝叶斯推断（含分层超先验）是可行的，耗时最多数小时。
• 模型通过控制每个输入对协方差函数贡献的超参数，自动识别了相关输入。
• 通过使用潜在变量，实现了非高斯似然函数的精确贝叶斯推断，避免了对确定性近似的依赖。
• 该实现支持多种具有分层先验的协方差函数，能够灵活建模复杂数据结构。