[论文解读] Gaussian Process Regression with Location Errors

Daniel Cervone, Natesh S. Pillai|arXiv (Cornell University)|Jun 27, 2015

Gaussian Processes and Bayesian Inference参考文献 36被引用 15

一句话总结

本文提出了一种新颖的高斯过程回归框架，该框架考虑了空间输入位置的测量误差，采用层次模型和马尔可夫链蒙特卡洛（MCMC）推理方法，实现最小均方误差（MSE）预测。研究表明，忽略位置误差会导致次优的克里金法（Kriging）和无效推断，尤其当输入位置接近或存在噪声时更为显著。

ABSTRACT

In this paper, we investigate Gaussian process regression models where inputs are subject to measurement error. In spatial statistics, input measurement errors occur when the geographical locations of observed data are not known exactly. Such sources of error are not special cases of "nugget" or microscale variation, and require alternative methods for both interpolation and parameter estimation. Gaussian process models do not straightforwardly extend to incorporate input measurement error, and simply ignoring noise in the input space can lead to poor performance for both prediction and parameter inference. We review and extend existing theory on prediction and estimation in the presence of location errors, and show that ignoring location errors may lead to Kriging that is not "self-efficient". We also introduce a Markov Chain Monte Carlo (MCMC) approach using the Hybrid Monte Carlo algorithm that obtains optimal (minimum MSE) predictions, and discuss situations that lead to multimodality of the target distribution and/or poor chain mixing. Through simulation study and analysis of global air temperature data, we show that appropriate methods for incorporating location measurement error are essential to valid inference in this regime.

研究动机与目标

• 解决当输入空间位置存在测量误差时，高斯过程回归缺乏稳健方法的问题。
• 表明忽略输入测量误差会导致克里金法预测性能下降和推断无效。
• 构建一个层次贝叶斯模型，将真实位置视为潜在变量，实现最优（最小MSE）预测。
• 提供理论和实证证据，证明位置误差对插值精度和参数估计具有显著影响。
• 提出一种使用哈密顿蒙特卡洛（Hybrid Monte Carlo）的MCMC算法，用于从潜在位置与模型参数的联合后验分布中抽样，从而提高预测的可靠性。

提出的方法

• 构建一个层次高斯过程模型，假设观测到的输入位置是真实潜在位置的噪声实现。
• 推导出在观测数据和超参数条件下的潜在位置与过程值的联合后验分布。
• 实现一种哈密顿蒙特卡洛（HMC）算法，以高效抽样高维后验分布，解决多模态性和混合性差的问题。
• 利用完整的后验预测分布计算最小MSE预测，通过对潜在位置的不确定性进行平均。
• 通过引入位置误差引起的过程的协方差结构，扩展标准克里金法，实现更优的预测方差估计。
• 应用理论结果，推导出在忽略输入误差时克里金法变得非自洽的条件。

实验结果

研究问题

• RQ1 输入测量误差如何影响标准克里金法在高斯过程回归中的性能？
• RQ2 在何种理论条件下，忽略位置误差会导致次优或无效预测？
• RQ3 是否能够通过将真实位置视为潜在变量的贝叶斯层次模型，在存在输入误差的情况下实现最小MSE预测？
• RQ4 与标准克里金法相比，从潜在位置与过程值的联合后验分布中进行MCMC抽样，如何提升预测精度？
• RQ5 潜在位置的后验分布在何种条件下会呈现多模态性？这又如何影响MCMC的收敛性和混合性？

主要发现

• 忽略输入测量误差会导致克里金法非自洽，当观测位置趋于任意接近时，预测均方误差（MSE）会发散至无穷大。
• 所提出的输入位置误差克里金法（KILE）估计器通过正确处理潜在位置的不确定性，实现了最小MSE，优于标准克里金法。
• 模拟研究显示，当存在输入误差时，基于HMC的MCMC方法比朴素克里金法能提供更准确、更可靠的预测。
• 潜在位置的后验分布可能表现出多模态性，尤其当输入误差较大或位置彼此接近时，这会加剧MCMC混合困难。
• 在北半球全球气温异常数据上的应用表明，引入位置误差可得到更精确且地理上更合理的插值结果。
• 理论分析证明，在一般条件下，KILE预测的MSE严格低于标准克里金法，尤其当输入方差不可忽略时。