[論文レビュー] Gaussian Process Regression with Location Errors

Daniel Cervone, Natesh S. Pillai|arXiv (Cornell University)|Jun 27, 2015

Gaussian Processes and Bayesian Inference参考文献 36被引用数 15

ひとこと要約

本稿では、空間的入力位置の測定誤差を考慮する新しいガウス過程回帰フレームワークを提案する。階層モデルとマルコフ連鎖モンテカルロ（MCMC）推論を用いて、最小二乗平均誤差（MSE）の予測を達成する。位置誤差を無視すると、特に入力位置が近接しているかノイズがある場合、最適でないクリギングおよび誤った推論が生じることを示している。

ABSTRACT

In this paper, we investigate Gaussian process regression models where inputs are subject to measurement error. In spatial statistics, input measurement errors occur when the geographical locations of observed data are not known exactly. Such sources of error are not special cases of "nugget" or microscale variation, and require alternative methods for both interpolation and parameter estimation. Gaussian process models do not straightforwardly extend to incorporate input measurement error, and simply ignoring noise in the input space can lead to poor performance for both prediction and parameter inference. We review and extend existing theory on prediction and estimation in the presence of location errors, and show that ignoring location errors may lead to Kriging that is not "self-efficient". We also introduce a Markov Chain Monte Carlo (MCMC) approach using the Hybrid Monte Carlo algorithm that obtains optimal (minimum MSE) predictions, and discuss situations that lead to multimodality of the target distribution and/or poor chain mixing. Through simulation study and analysis of global air temperature data, we show that appropriate methods for incorporating location measurement error are essential to valid inference in this regime.

研究の動機と目的

• 入力空間的位置に測定誤差が存在する場合の、ガウス過程回帰のための頑健な手法の不足に応える。
• 入力測定誤差を無視すると、クリギングにおいて予測性能が低下し、推論が無効になることを示す。
• 真の位置を潜在変数として扱う階層ベイズモデルを構築し、最小MSE（最小二乗平均誤差）の予測を可能にする。
• 理論的および実証的証拠を提示し、位置誤差が補間精度およびパラメータ推定に顕著な影響を与えることを示す。
• 潜在位置とモデルパラメータの同時事後分布からサンプリングするためのHMC（ハイブリッドモンテカルロ）を用いたMCMCアルゴリズムを導入し、予測の信頼性を向上させる。

提案手法

• 観測された入力位置が真の潜在的位置のノイズを含む実現値であると仮定する階層ガウス過程モデルを定式化する。
• 観測データとハイパーパrameterを条件とした、潜在位置と過程値の同時事後分布を導出する。
• 多次元事後分布からの効率的サンプリングを実現するため、ハイブリッドモンテカルロ（HMC）アルゴリズムを実装し、多峰性や混合が悪い問題に対処する。
• 潜在位置の不確実性を平均化するため、完全な事後予測分布を用いて最小MSE予測を計算する。
• 位置誤差に起因する過程の共分散構造を組み込むことで、標準クリギングを拡張し、予測分散の推定を改善する。
• 理論的結果を応用し、入力誤差を無視した場合にクリギングが自己非効率的（self-inefficient）となる条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 入力測定誤差は、ガウス過程回帰における標準的クリギングの性能にどのように影響を与えるか？
• RQ2 位置誤差を無視した場合に、予測が非最適または無効となる理論的条件は何か？
• RQ3 真の位置を潜在変数として扱うベイズ的階層モデルは、入力誤差が存在する状況でも最小MSE予測を達成できるか？
• RQ4 潜在位置と過程値の同時事後分布からのMCMCサンプリングは、標準的クリギングと比較して予測精度をどのように向上させるか？
• RQ5 潜在位置の事後分布が多峰性を示す条件は何か？ また、これはMCMC収束性および混合性にどのように影響を与えるか？

主な発見

• 入力測定誤差を無視すると、クリギングは自己非効率的となり、観測位置が任意に近づくにつれて予測の平均二乗誤差（MSE）が無限大に発散する。
• 提案された入力位置誤差を考慮するクリギング（KILE）推定器は、潜在位置の不確実性を適切に扱うことで最小MSEを達成し、標準的クリギングを上回る性能を示す。
• シミュレーション研究では、ハイブリッドモンテカルロを用いたMCMCベースのアプローチが、入力誤差が存在する状況でナーブなクリギングよりもより正確で信頼性の高い予測を提供することが示された。
• 潜在位置の事後分布は、特に入力誤差が大きく、または位置同士が近接している場合に多峰性を示すことがあり、MCMCの混合性を複雑にする。
• 北半球の気温異常データへの応用では、位置誤差を組み込むことで、より精度が高く地理的に妥当な補間結果が得られた。
• 理論的分析により、一般条件下でKILE予測のMSEが標準的クリギングのMSEを厳密に下回ることを証明した。特に、入力分散が無視できない場合に顕著である。