[論文レビュー] Prediction performance after learning in Gaussian process regression

Johan Wågberg, Dave Zachariah+2 more|arXiv (Cornell University)|Jun 13, 2016

Gaussian Processes and Bayesian Inference参考文献 11被引用数 13

ひとこと要約

本稿では、一般化されたCramér-Rao不等式を用いて、ハイパーパrameter学習の不確実性を考慮することで、ガウス過程回帰における平均二乗誤差（MSE）のより緊密な下界を提案する。この手法により、標準の予測分散にモデル学習誤差項を追加することで、複雑な周辺化や事前分布を必要とせずに、より信頼性の高い誤差棒が得られる。

ABSTRACT

This paper considers the quantification of the prediction performance in Gaussian process regression. The standard approach is to base the prediction error bars on the theoretical predictive variance, which is a lower bound on the mean square-error (MSE). This approach, however, does not take into account that the statistical model is learned from the data. We show that this omission leads to a systematic underestimation of the prediction errors. Starting from a generalization of the Cramér-Rao bound, we derive a more accurate MSE bound which provides a measure of uncertainty for prediction of Gaussian processes. The improved bound is easily computed and we illustrate it using synthetic and real data examples. of uncertainty for prediction of Gaussian processes and illustrate it using synthetic and real data examples.

研究の動機と目的

• データからハイパーパrameterが学習される際の予測誤差の系統的過小評価を是正すること。
• 不確実性評価のための完全ベイズ周辺化の計算効率の良い代替手法を提供すること。
• モデル学習の不確実性を考慮した、平均二乗誤差のより緊密な下界を導出すること。
• アクティブラーニングやベイズ最適化などの応用分野における予測誤差の信頼性を向上させること。

提案手法

• 学習済みパラメータのフィッシャー情報量を組み込むことで、ハイパーパrameterの不確実性を考慮した一般化Cramér-Rao不等式（GCRB）を導出する。
• MSEの下界を、標準の予測分散と、予測子のハイパーパrameterに関する勾配を含む追加項の和として定式化する。
• ハイパーパrameterの推定に起因する不確実性を含むMSEの下界を導出するために、ベイジアンCramér-Rao不等式（BCRB）フレームワークを用いる。
• 特に平均関数パラメータのためのハイパーパrameterのフィッシャー情報行列の逆行列を用いて補正項を計算する。
• 予測平均、カーネル行列、および予測子のハイパーパrameterに関する勾配を用いて、標準のGPツールでこの不等式を適用する。
• 合成データおよび実世界のデータを用いて不等式を検証し、標準の予測分散よりも tighter な誤差推定が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterがデータから学習されることで、ガウス過程回帰における予測誤差の信頼区間の精度にどのような影響を与えるか？
• RQ2 学習済みハイパーパrameterの不確実性を考慮した、平均二乗誤差のより緊密な下界を導出できるか？
• RQ3 提案手法の不等式は、実用的状況において、標準の予測分散よりも計算的に実行可能でより正確か？
• RQ4 一般化Cramér-Rao不等式の補正項は、実データおよび合成データにおいて不確実性評価をどのように改善するか？

主な発見

• ハイパーパrameterがデータから学習される際、標準の予測分散は真の平均二乗誤差を系統的に過小評価する。
• 提案手法の下界は、ハイパーパrameter推定の不確実性を考慮する補正項を追加することで、標準の予測分散を改善する。
• 補正項は、予測子の平均関数ハイパーパrameterに関する勾配と、逆フィッシャー情報行列から導出される。
• 改善された下界は計算的に効率的であり、事前分布や数値積分を必要とせず、標準のGP推論ツールで計算可能である。
• 合成データおよび実データにおける実験結果から、新しい下界は標準の予測分散よりも顕著にタイトでより正確な誤差推定を提供することが示された。
• この下界がMSEの有効な下界であり、モデル学習下で標準の予測分散よりもタイトであることが証明された。