[論文レビュー] MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation

Amanda Muyskens, Benjamin W. Priest+2 more|arXiv (Cornell University)|Apr 29, 2021

Gaussian Processes and Bayesian Inference参考文献 35被引用数 6

ひとこと要約

MuyGPs は、全共分散行列を計算せずに、k-近傍点における局所的交差検証を用いてカーネルハイパーパrameterを最適化するスケーラブルなガウス過程ハイパーパrameter推定手法を提案する。予測精度（RMSE 1.42）と計算効率の両面で最先端の性能を達成し、1分未満の実行時間で土地表面温度ベンチマークにおいて既存手法を上回った。

ABSTRACT

Gaussian processes (GPs) are non-linear probabilistic models popular in many applications. However, naïve GP realizations require quadratic memory to store the covariance matrix and cubic computation to perform inference or evaluate the likelihood function. These bottlenecks have driven much investment in the development of approximate GP alternatives that scale to the large data sizes common in modern data-driven applications. We present in this manuscript MuyGPs, a novel efficient GP hyperparameter estimation method. MuyGPs builds upon prior methods that take advantage of the nearest neighbors structure of the data, and uses leave-one-out cross-validation to optimize covariance (kernel) hyperparameters without realizing a possibly expensive likelihood. We describe our model and methods in detail, and compare our implementations against the state-of-the-art competitors in a benchmark spatial statistics problem. We show that our method outperforms all known competitors both in terms of time-to-solution and the root mean squared error of the predictions.

研究の動機と目的

• 全ガウス過程推論における計算ボトル neck を軽減すること。これはデータサイズに比例して立方的に増加する。
• 高価な尤度評価と全共分散行列の保存を回避するスケーラブルなハイパーパrameter推定手法の開発。
• 既存の近似 GP 手法と比較して、予測精度を向上させるとともに計算時間を短縮すること。
• 局所的近傍とバッチ最適化を活用することで、非定常 GP モデルの効率的推定を可能にすること。

提案手法

• MuyGPs は、各テスト点の k-近傍点に対してleave-one-out交差検証を適用し、全共分散行列を構築せずにハイパーパrameterを推定する。
• 局所的leave-one-out平均二乗誤差を最小化することでハイパーパrameterを最適化し、局所データのみを用いるため計算コストを低減する。
• バッチ処理アプローチを採用し、データを小さなサブセットに分割することで、さらにスケーラビリティを向上させ、メモリ使用量を削減する。
• 予測は、各クエリ位置の k-近傍トレーニング点のみを用いて行うため、局所的適応性と効率性を確保する。
• 定常および非定常な平均関数をサポートしており、後者はわずかではあるが精度向上を示した。
• さまざまなカーネル関数と互換性があり、2次非定常モデルへの拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模な GP モデルにおいて、全尤度最大化と比較して、k-近傍点における局所的交差検証がより優れたハイパーパrameter推定を達成できるか？
• RQ2 MuyGPs の予測精度と実行時間は、最先端のスケーラブルな GP 手法と比較してどのように異なるか？
• RQ3 バッチサイズと近傍点数の影響は、精度と計算コストのトレードオフにどのように現れるか？
• RQ4 MuyGPs は、著しい計算コストを伴わずに非定常 GP モデルを効果的に推定できるか？

主な発見

• MuyGPs は土地表面温度ベンチマークで RMSE 1.42 を達成し、予測精度においてすべての既知の競合手法を上回った。
• すべての計算処理が1分未満で完了し、同じデータセットでテストされた以前のあらゆる手法よりも高速であった。
• 近傍点数を50個に制限しても、MuyGPs は競争力ある精度を維持しており、近傍サイズの削減に対しても頑健であることが示された。
• 95%の不確実性カバレッジを達成し、名目上の水準に近く、予測区間が適切にキャリブレーションされていることを示した。
• トレーニングデータの1.8%（2,000個のバッチ化された点）を用いるだけで、性能の分散がほぼゼロに抑えられ、安定性が確認された。
• 非定常な平均関数はわずかではあるが精度向上をもたらし、複雑なモデリング要件にも対応可能であることを示唆した。