[论文解读] Gaussian Process Regression with Heteroscedastic or Non-Gaussian Residuals

Chunyi Wang, Radford M. Neal|arXiv (Cornell University)|Dec 26, 2012

Gaussian Processes and Bayesian Inference参考文献 12被引用 37

一句话总结

本文提出了一种带有潜在协变量的高斯过程回归模型（GPLC），通过将潜在变量视为未观测到的输入，能够处理异方差性和非高斯残差，从而实现输入相关的噪声和非高斯误差分布。在异方差和非高斯设定下，该模型在性能上优于标准高斯过程（GP）和GPLV模型，且使用改进的Metropolis算法进行MCMC采样时，展现出更优的混合效果和更快的收敛速度。

ABSTRACT

Gaussian Process (GP) regression models typically assume that residuals are Gaussian and have the same variance for all observations. However, applications with input-dependent noise (heteroscedastic residuals) frequently arise in practice, as do applications in which the residuals do not have a Gaussian distribution. In this paper, we propose a GP Regression model with a latent variable that serves as an additional unobserved covariate for the regression. This model (which we call GPLC) allows for heteroscedasticity since it allows the function to have a changing partial derivative with respect to this unobserved covariate. With a suitable covariance function, our GPLC model can handle (a) Gaussian residuals with input-dependent variance, or (b) non-Gaussian residuals with input-dependent variance, or (c) Gaussian residuals with constant variance. We compare our model, using synthetic datasets, with a model proposed by Goldberg, Williams and Bishop (1998), which we refer to as GPLV, which only deals with case (a), as well as a standard GP model which can handle only case (c). Markov Chain Monte Carlo methods are developed for both modelsl. Experiments show that when the data is heteroscedastic, both GPLC and GPLV give better results (smaller mean squared error and negative log-probability density) than standard GP regression. In addition, when the residual are Gaussian, our GPLC model is generally nearly as good as GPLV, while when the residuals are non-Gaussian, our GPLC model is better than GPLV.

研究动机与目标

• 解决标准高斯过程回归的局限性，即假设残差独立同分布且方差恒定。
• 开发一种灵活的GP模型，能够处理输入相关的噪声（异方差性）和非高斯残差分布。
• 提出一种计算高效的MCMC采样策略，用于潜在变量模型。
• 在具有不同残差结构的合成数据集上，通过实验对比GPLC模型与标准GP和GPLV模型的性能。

提出的方法

• 在高斯过程回归模型中引入一个具有固定分布的潜在变量，作为未观测到的协变量。
• 使用一种协方差函数，使得响应关于潜在变量的偏导数可变，从而实现输入相关的残差方差。
• 将响应建模为 $ y_i = f(x_i) + \epsilon_i $，其中 $ \epsilon_i $ 依赖于潜在变量，当潜在变量经过非线性变换时，可产生非高斯残差。
• 采用马尔可夫链蒙特卡洛（MCMC）方法进行后验推断，包括使用改进的Metropolis采样器以提升混合效果。
• 应用具有自动相关性确定（ARD）的平方指数协方差函数，以捕捉输入特定的平滑性。
• 在对数超参数上使用超先验，并通过MCMC进行估计，使用轨迹图和调整后的自相关时间评估收敛性和效率。

实验结果

研究问题

• RQ1 带有潜在协变量的GP模型是否能有效处理输入相关的残差方差（异方差性），而无需假设噪声为高斯分布？
• RQ2 当残差为非高斯分布时，GPLC模型与GPLV模型在预测准确性方面有何差异？
• RQ3 与标准Metropolis和切片采样相比，改进的Metropolis MCMC采样器是否显著提升了混合效果和收敛速度？
• RQ4 当残差为高斯分布但具有输入相关方差时，GPLC模型能否实现与GPLV模型相当的性能？
• RQ5 在潜变量和超参数方面，GPLC模型的计算效率如何，具体体现在自相关时间和混合时间上？

主要发现

• 在异方差设定下，GPLC模型的均方误差和负对数概率密度显著低于标准GP回归模型。
• 当残差为非高斯分布时，GPLC模型优于假设残差为高斯分布的GPLV模型。
• 在残差为高斯分布但具有输入相关方差的情况下，GPLC模型的性能几乎与GPLV模型相当。
• 改进的Metropolis采样器将潜变量的调整后自相关时间减少了50至100倍，相比常规Metropolis和切片采样器。
• 改进的Metropolis采样器能更快达到平衡状态，且混合效率更高，尤其在潜变量方面，轨迹图显示从先验均值开始快速收敛。
• 对于超参数，改进的Metropolis采样器与常规Metropolis采样器表现相当，两者在混合速度上均优于切片采样器。