[論文レビュー] Product Kernel Interpolation for Scalable Gaussian Processes

Jacob R. Gardner, Geoff Pleiss+3 more|arXiv (Cornell University)|Feb 24, 2018

Gaussian Processes and Bayesian Inference参考文献 30被引用数 21

ひとこと要約

この論文では、個々のカーネル成分のランツォス分解を活用することで、積カーネルにおける行列-ベクトル乗算（MVM）を効率的に行うことができるSKIP（Product Kernel Interpolation for Scalable Gaussian Processes）を導入する。この手法により、次元数に比例する計算量にまで複雑性が低下し、高次元およびマルチタスク学習におけるスケーラブルなガウス過程推論が可能となり、漸近的計算量の面で最先端の性能を達成する。

ABSTRACT

Recent work shows that inference for Gaussian processes can be performed efficiently using iterative methods that rely only on matrix-vector multiplications (MVMs). Structured Kernel Interpolation (SKI) exploits these techniques by deriving approximate kernels with very fast MVMs. Unfortunately, such strategies suffer badly from the curse of dimensionality. We develop a new technique for MVM based learning that exploits product kernel structure. We demonstrate that this technique is broadly applicable, resulting in linear rather than exponential runtime with dimension for SKI, as well as state-of-the-art asymptotic complexity for multi-task GPs.

研究の動機と目的

• 入力次元が増加するにつれて誘導点の必要数が指数関数的に増加するという構造的カーネル補間（SKI）の次元の呪いに対処すること。
• MVMベースのガウス過程推論におけるモularityを向上させることで、異なるグリッドを用いる成分で構成される要素ごとの積カーネルに対しても、効率的なMVM計算を可能にすること。
• 積カーネルガウス過程推論における次元数に比例する実行時間のスケーリングを達成し、標準的なSKIの指数関数的複雑性を克服すること。
• マルチタスクガウス過程（MTGP）における最先端の漸近的複雑性を達成することにより、s 個のタスクに対して O(n + m log m + s) の計算量にまで低減すること。
• GPyTorchにおける実用的でGPUアクセceleratedな実装を開発し、実世界のガウス過程応用への広範な適用性を実現すること。

提案手法

• この手法は、積カーネル内の各成分カーネルに対するMVMを近似するためにランツォス分解を用い、全積カーネルMVMの高速計算を可能にする。
• 個々のカーネルのランツォス近似を、計算効率を維持するマージステップによって統合し、複雑性は O(drμ(K) + r³n log d) となる。
• Kronecker因子分解に依存せずに、積カーネルを用いた構造的カーネル補間（SKI）を可能にし、次元数に伴うmの指数的増加を回避する。
• 高次元回帰において、d次元カーネルをd個の1次元カーネルに分解することで、標準的なSKIの O(n + dm^d log m) から O(dn + dm log m) に複雑性を低減する。
• マルチタスクGPでは、カーネルの積構造を活用し、全カーネル行列に対する高速MVMを可能にすることで、推論複雑性を O(n + m log m + s) に低減する。
• このアプローチは、積カーネルに対するMVMを効率的に計算できることを活かし、タスククラスタリングのためのギブスサンプリングを可能にし、タスクのグループ化をスケーラブルに同定できる。

実験結果

リサーチクエスチョン

• RQ1 Kronecker因子分解に依存せずに、積カーネルに対するMVMを指数的スケーリングの問題を抱えることなく、効率的に計算できるか？
• RQ2 カーネルが要素ごとの積として構成される場合、成分が異なるグリッドを使用する場合でも、MVMベースのガウス過程推論のモularityを維持できるか？
• RQ3 積カーネル構造を活用することで、次元数に比例するスケーリングがガウス過程推論で達成可能となり、SKIにおける次元の呪いを克服できるか？
• RQ4 SKIPは、実用的な効率性を維持しながら、マルチタスクガウス過程において最先端の漸近的複雑性を達成できるか？
• RQ5 GPU上で効率的に実装可能であり、実世界の応用におけるスケーラブルな推論を可能にするか？

主な発見

• SKIPは、r が小さな定数である場合、O(drμ(K) + r³n log d) 時間で積カーネルに対するMVMを実行可能であり、高次元問題に対しても実行可能である。
• d次元回帰において、標準的なSKIの O(n + dm^d log m) から O(dn + dm log m) に複雑性が低減され、次元数に比例するスケーリングが達成される。
• マルチタスクGPの文脈では、推論複雑性が O(n + m log m + s) にまで低減され、s はタスク数を表す。これは、先行手法に比べて漸近的複雑性で優れている。
• この手法は、積カーネルに対するMVMを効率的に計算できることを活かし、スケーラブルなギブスサンプリングによるタスククラスタリングを可能にし、意味のあるタスクグループの同定が可能である。
• 実験的結果では、小児発達データにおける外挿精度において、クラスタベースのMTGPモデルが単一タスクおよび標準的なMTGPベースラインを上回ることが示された。
• 著者らはGPyTorchにおけるGPUアクセceleratedな実装を公開しており、実世界の応用における実用的かつスケーラブルな性能を示している。