[論文レビュー] Scaling Gaussian Process Regression with Derivatives

David Eriksson, Kun Dong+3 more|arXiv (Cornell University)|Jan 1, 2018

Gaussian Processes and Bayesian Inference被引用数 29

ひとこと要約

この論文は、反復解法とピボット付きコレスキー条件数付きのスケーラブルなガウス過程回帰を提案し、計算複雑性を 𝒪(n³d³) から近似的線形スケーリングに削減する。この手法により、高速な行列ベクトル乗算と効果的な条件数付きの前処理を介して行列演算を高速化することで、高次元における効率的なベイズ最適化と大規模問題が可能になる。

ABSTRACT

Gaussian processes (GPs) with derivatives are useful in many applications, including Bayesian optimization, implicit surface reconstruction, and terrain reconstruction. Fitting a GP to function values and derivatives at $n$ points in $d$ dimensions requires linear solves and log determinants with an ${n(d+1) imes n(d+1)}$ positive definite matrix-- leading to prohibitive $\mathcal{O}(n^3d^3)$ computations for standard direct methods. We propose iterative solvers using fast $\mathcal{O}(nd)$ matrix-vector multiplications (MVMs), together with pivoted Cholesky preconditioning that cuts the iterations to convergence by several orders of magnitude, allowing for fast kernel learning and prediction. Our approaches, together with dimensionality reduction, allows us to scale Bayesian optimization with derivatives to high-dimensional problems and large evaluation budgets.

研究の動機と目的

• 高次元設定において関数値と導出値の両方を用いたガウス過程のフィッティングにかかる計算コストが非常に高くなる問題に対処すること。
• 標準的な直接法によるGP回帰の導出値を含む場合の O(n³d³) の複雑性を低減すること。
• 導出情報を用いたスケーラブルなベイズ最適化と大規模な評価予算を可能にすること。
• 大規模なカーネル学習に適した、高速な行列ベクトル乗算と効果的な前処理を備えた効率的な反復解法の開発。

提案手法

• GP回帰における導出値を含む線形方程式系を解くために、反復的Krylov部分空間解法（例：共役勾配法）を用いる。
• 核評価と線形解法の高速化のため、O(nd) の高速な行列ベクトル乗算を採用する。
• n(d+1) × n(d+1) の共分散行列にピボット付きコレスキー前処理を適用し、収束までの反復回数を著しく削減する。
• 反復解法とピボット付きコレスキーを組み合わせることで、大規模なGP推論における近似的最適な収束速度を達成する。
• さらに高次元入力空間へのスケーリングを図るため、次元削減技術を統合する。

実験結果

リサーチクエスチョン

• RQ1 高速な行列ベクトル乗算を用いた反復解法は、導出値を含むGP回帰の計算負荷を著しく低減できるか？
• RQ2 ピボット付きコレスキー前処理は、導出情報を含むGP回帰における収束速度をどの程度向上させるか？
• RQ3 提案手法は、高次元問題と大規模な評価予算における導出情報付きのベイズ最適化をスケーラブルに可能にするか？
• RQ4 反復解法と前処理の組み合わせは、標準的な直接法と比較して、スケーラビリティと精度の面でどのように異なるか？

主な発見

• 提案手法により、導出値を含むGP回帰の計算複雑性が O(n³d³) から n と d に関して近似的線形スケーリングにまで削減された。
• ピボット付きコレスキー前処理により、共役勾配法の反復回数が数個のオーダーも減少し、高速な収束が実現された。
• この手法は、高次元問題と大規模な評価予算における導出情報付きのスケーラブルなベイズ最適化を支援する。
• 高速な行列ベクトル乗算により、効率的なカーネル学習と予測が可能となり、大規模な導出情報付きGP回帰が現実可能になった。