[論文レビュー] Parametric Gaussian Process Regressors

Martin Jankowiak, Geoff Pleiss+1 more|arXiv (Cornell University)|Oct 16, 2019

Gaussian Processes and Bayesian Inference参考文献 46被引用数 8

ひとこと要約

本稿では、事後分布の近似ではなく予測分布そのものを直接最適化する、スケーラブルなガウス過程回帰の新手法であるパラメトリックガウス過程回帰（PPGPR）を提案する。誘導点を用いて柔軟な平均および分散関数をパrameter化することで、標準的な変分推論手法と比較して、はるかに良好にキャリブレートされた不確実性と高い対数尤度を達成する。これは、1データポイントあたり最大0.5ナットの向上を示すことがある。

ABSTRACT

The combination of inducing point methods with stochastic variational inference has enabled approximate Gaussian Process (GP) inference on large datasets. Unfortunately, the resulting predictive distributions often exhibit substantially underestimated uncertainties. Notably, in the regression case the predictive variance is typically dominated by observation noise, yielding uncertainty estimates that make little use of the input-dependent function uncertainty that makes GP priors attractive. In this work we propose two simple methods for scalable GP regression that address this issue and thus yield substantially improved predictive uncertainties. The first applies variational inference to FITC (Fully Independent Training Conditional; Snelson et.~al.~2006). The second bypasses posterior approximations and instead directly targets the posterior predictive distribution. In an extensive empirical comparison with a number of alternative methods for scalable GP regression, we find that the resulting predictive distributions exhibit significantly better calibrated uncertainties and higher log likelihoods--often by as much as half a nat per datapoint.

研究の動機と目的

• スケーラブルなガウス過程回帰において一般的に見られる不確実性推定の過信を是正すること、特に入力依存の関数的不確実性の不足に焦点を当てる。
• 事後分布の近似を避けて予測分布を直接モデル化することにより、大規模なガウス過程回帰における予測不確実性のキャリブレーションを向上させること。
• 高い予測性能を維持しながら、良好にキャリブレートされた不確実性推定を提供するスケーラブルな手法を開発すること。
• 事後分布の近似による変分推論と比較して、予測分布の直接最適化が、より高い対数尤度と不確実性キャリブレーションをもたらすかどうかを示すこと。
• 深層カーネル学習におけるモンテカルロドロップアウトの実用的で高速な推論代替手段を提供し、解析的に計算された分散を備えること。

提案手法

• FITC（完全独立訓練条件）ガウス過程フレームワークに変分推論を適用するPPGPR-δを提案し、不確実性推定を改善する。
• 予測分布のコレスキー分解に基づくパrameter化を用いるPPGPR-Cholを導入し、正定値行列を保証する。
• 予測分布における平均関数と分散関数を分離するPPGPR-MFD（平均関数分離）を提案し、カーネルハイパーパrameterを共有することで、RMSEとNLLのトレードオフをより良く制御できる。
• 誘導点を用いて予測分布のパラメトリック族を定義し、入力依存の不確実性のスケーラブルで柔軟なモデリングを可能にする。
• 変分推論に内在する不確実性成分の非対称的取り扱いを避けるために、予測分布を直接最尤法で最適化する。
• 誘導点手法の構造を活用してモデル容量を制御する、柔軟なパラメトリックな予測分散形を導入する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程回帰において予測分布を直接最適化することは、変分推論による事後分布近似と比較して、よりキャリブレートされた不確実性を達成できるか？
• RQ2 誘導点に基づく予測分布のパラメトリック族を用いることで、大規模なガウス過程回帰における対数尤度と不確実性キャリブレーションが向上するか？
• RQ3 予測分布における平均関数と分散関数の分離は、予測精度（RMSE）と不確実性キャリブレーション（NLL）のトレードオフにどのように影響するか？
• RQ4 PPGPRは、実世界の回帰タスクにおいて、標準的なSVGPおよびMAP推定と比較して、対数尤度と不確実性キャリブレーションの両面で優れているか？
• RQ5 PPGPRは、深層カーネル学習における不確実性推定において、モンテカルロドロップアウトのより高速で信頼性の高い代替手段を提供できるか？

主な発見

• PPGPR-MFDは、ベンチマークデータセット全体でNLL指標の平均順位1.81を達成し、最も高い対数尤度性能を示した。
• PPGPR-MFDは、すべての手法の中で最小のRMSE（1.82）を達成し、高い不確実性キャリブレーションを維持しながらも、強い予測精度を示した。
• PPGPR-Cholは、最高のNLLスコア（1.59）とCRPS（1.40）を達成し、優れた不確実性キャリブレーションを示した。
• PPGPR-δおよびPPGPR-Cholは、SVGPやMAPといったベースライン手法と比較して、1データポイントあたり最大0.5ナットの対数尤度向上を達成した。
• 深層カーネル学習において、PPGPR+DKLは、SVGP+DKLおよびMCDropoutを上回る不確実性キャリブレーションを達成し、解析的分散計算のおかげでテスト時の推論が著しく高速化された。
• 結果から、SVGPの優れた性能は、ベイジアンの一貫性よりも表現力豊かなカーネルに起因している可能性が示唆され、予測の直接モデリングの価値が浮き彫りになった。