[論文レビュー] Constant-Time Predictive Distributions for Gaussian Processes

Geoff Pleiss, Jacob R. Gardner+2 more|arXiv (Cornell University)|Mar 16, 2018

Gaussian Processes and Bayesian Inference参考文献 37被引用数 16

ひとこと要約

この論文では、ランツォス法を用いて予測共分散行列の定数時間計算と高速なサンプリングを可能にする LOVE（Lanczös Variance Estimates）という手法を紹介する。カーネル行列を低ランク分解により近似することで、LOVE は従来手法に比べて分散計算が最大 2,000× 速くなり、サンプリングは 18,000× 速くなり、ほぼ正確な精度を維持しながら、トレーニングデータサイズに依存しない定数時間の計算量を達成する。

ABSTRACT

One of the most compelling features of Gaussian process (GP) regression is its ability to provide well-calibrated posterior distributions. Recent advances in inducing point methods have sped up GP marginal likelihood and posterior mean computations, leaving posterior covariance estimation and sampling as the remaining computational bottlenecks. In this paper we address these shortcomings by using the Lanczos algorithm to rapidly approximate the predictive covariance matrix. Our approach, which we refer to as LOVE (LanczOs Variance Estimates), substantially improves time and space complexity. In our experiments, LOVE computes covariances up to 2,000 times faster and draws samples 18,000 times faster than existing methods, all without sacrificing accuracy.

研究の動機と目的

• スケーラブルな誘導点手法ですら依然として高コストである予測共分散推定とサンプリングの計算ボトル neck を解消すること。
• トレーニングデータサイズに依存しない定数時間の予測分散計算と線形時間のサンプリングを実現すること。
• 計算複雑性を大幅に削減しながらも、不確実性推定の高精度を維持すること。
• 既存の誘導点フレームワーク（例：KISS-GP）と互換性があり、スケーラブルで数値的に安定し、GPUに最適化されたソリューションを提供すること。

提案手法

• カーネル行列の三重対角化をランツォス法で行い、行列の逆行列の効率的近似を可能にする。
• 事前に計算された行列 C を含む二次形式として予測共分散を表現し、ランツォスを用いて低ランク要因 R と R' に分解する。
• ランツォス分解の構造を活用し、各エントリの分散を O(k) 時間で計算する（k はランツォス反復回数）。
• 浮動小数点演算における正規直交性の喪失を防ぐために、完全再正規直交化を採用して数値的安定性を確保する。
• ランツォス分解をキャッシュすることで、複数のテストポイントに対して繰り返し高速に分散とサンプルを計算可能にする。
• サンプルを O(ks(t + m)) 時間で予測分布から抽出可能に拡張し、t 個のテストポイントと s 個のサンプルを対象とする。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程における予測共分散計算を、正確性を損なわずに定数時間に削減できるか？
• RQ2 トレーニングデータサイズに依存しない線形時間で、正確かつ高速な予測分布からのサンプリングが可能か？
• RQ3 ランツォス法は、GP推論の文脈においてカーネル行列の逆行列を効率的に近似するためにどのように機能するか？
• RQ4 ランツォス反復における数値的不安定性の影響は何か？実際の応用においてどのように緩和できるか？
• RQ5 LOVE は KISS-GP を超える他の誘導点手法へどの程度一般化可能か？

主な発見

• LOVE は従来手法に比べて予測分散の計算を最大 2,000 倍速く行い、正確な値との誤差が 10^-4 以内に収まる。
• LOVE は正確な GP サンプリングに比べて予測分布からのサンプリングを最大 18,000 倍高速に実行し、真の事後分布と高い類似性を維持する。
• LOVE はトレーニングポイント数 n に依存しない定数時間の分散計算（O(k)）と線形時間のサンプリング（O(ks(t + m)))）を達成する。
• Eggholder ベンチマークでは、LOVE のサンプル分布は正確な GP 分布とよく一致しており、正確なサンプリングに比べて 700× 速い。
• 完全再正規直交化により、実用的に数値的安定性が確保されており、ランツォスベクトルの直交性喪失を効果的に是正する。
• LOVE は他の誘導点手法と互換性があり、高速な行列-ベクトル乗算をサポートする任意の GP フレームワークに適用可能である。