[論文レビュー] GPyTorch: Blackbox Matrix-Matrix Gaussian Process Inference with GPU Acceleration

Jacob R. Gardner, Geoff Pleiss+3 more|arXiv (Cornell University)|Sep 28, 2018

Gaussian Processes and Bayesian Inference参考文献 33被引用数 536

ひとこと要約

BBMM推論を導入する。ガウス過程のブラックボックス行列-行列法で、バatched修正共役勾配法とGPU加速を用い、PyTorchベースのフレームワーク（GPyTorch）により厳密推論と近似推論の高速化を実現する。

ABSTRACT

Despite advances in scalable models, the inference tools used for Gaussian processes (GPs) have yet to fully capitalize on developments in computing hardware. We present an efficient and general approach to GP inference based on Blackbox Matrix-Matrix multiplication (BBMM). BBMM inference uses a modified batched version of the conjugate gradients algorithm to derive all terms for training and inference in a single call. BBMM reduces the asymptotic complexity of exact GP inference from $O(n^3)$ to $O(n^2)$. Adapting this algorithm to scalable approximations and complex GP models simply requires a routine for efficient matrix-matrix multiplication with the kernel and its derivative. In addition, BBMM uses a specialized preconditioner to substantially speed up convergence. In experiments we show that BBMM effectively uses GPU hardware to dramatically accelerate both exact GP inference and scalable approximations. Additionally, we provide GPyTorch, a software platform for scalable GP inference via BBMM, built on PyTorch.

研究の動機と目的

• ハードウェア効率の良いGP推論ツールが、モデルの仕様と推論手法を切り離す必要性を動機づける。
• カーネル行列-行列積に依存するブラックボックスフレームワーク（BBMM）を開発する。
• 厳密GPと一般的な近似（SGPR, SKI）をサポートする、スケーラブルでGPUに適したGP推論エンジンを提供する。
• PyTorch上に構築されたソフトウェアプラットフォーム（GPyTorch）を提供し、複雑なGPモデルのプロトタイピングを容易にする。

提案手法

• mBCGを用いて推論の全項(K^{-1}y, log|K|, Tr(K^{-1} dK/dθ))を1回の呼び出しで計算する。
• プローブベクトルz_iを用いた確率的トレース推定により対数行列式とトレースを推定する。
• ピボット済みCholesky前処理器P = L_k L_k^T + σ^2 Iを用いてCG収束を加速し、対数行列式補正を効率化する。
• BBMMは厳密GP推論の計算量をO(n^3)からO(n^2)へ低減し、SGPRおよびSKIフレームワークと統合可能であることを示す。
• BBMMがGPUハードウェアを活用して、複数のGPモデルとデータセットでCholeskyベース手法より顕著な速度向上を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 BBMM推論は、厳密および近似GPモデルのいずれにおいてもCholeskyベースGP推論の正確さに匹敵するか、あるいはそれを超えるか？
• RQ2 Pivoted Cholesky前処理を用いたmBCGは、GPUハードウェア上での収束速度とスケーラビリティの点でどう性能を示すか？
• RQ3 BBMMは、最小限の導出作業でさまざまなGPモデルとスケーラブルな近似（SGPR、SKI、Toeplitz/KISS-GP）にブラックボックスフレームワークとしてどの程度適用可能か？

主な発見

• BBMMはGPU上でCPUのCholeskyベース手法と比較して、厳密推論と大規模近似の両方を劇的に高速化する。
• BBMMを用いた厳密GPは、約3,000点程度のデータセットではCholeskyベースの手法より最大20倍高速になり得る（GPUメモリの制約あり）。
• BBMMを用いたSGPRとSKIは、それぞれデータセットが50万点までで最大それぞれ15倍および4倍の高速化を達成。
• ピボットCholeskyによる前処理は、BBMMフレームワークにおけるCGの収束を著しく速くする。
• BBMMアプローチは、効率的なカーネル行列積に依存することで、コード行数を少なくとも50行未満で多くのGPモデルを実装可能にする。