[論文レビュー] Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)

Andrew Gordon Wilson, Hannes Nickisch|arXiv (Cornell University)|Mar 3, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用数 214

ひとこと要約

この論文は、カーネル補間を用いてカーネル行列を近似することで、スケーラブルなガウス過程推論を可能にする統合的アプローチ、構造的カーネル補間（SKI）フレームワークを導入する。局所的3次補間とKronecker/Toeplitz構造を活用することで、KISS-GPはO(n)の時間および記憶量の複雑さを達成し、任意の配置の入力に対しても高精度かつスケーラブルなGP推論を実現。FITCなどの代替手法と比較して、数個のオーダーの高速な実行時間を実現する。

ABSTRACT

We introduce a new structured kernel interpolation (SKI) framework, which generalises and unifies inducing point methods for scalable Gaussian processes (GPs). SKI methods produce kernel approximations for fast computations through kernel interpolation. The SKI framework clarifies how the quality of an inducing point approach depends on the number of inducing (aka interpolation) points, interpolation strategy, and GP covariance kernel. SKI also provides a mechanism to create new scalable kernel methods, through choosing different kernel interpolation strategies. Using SKI, with local cubic kernel interpolation, we introduce KISS-GP, which is 1) more scalable than inducing point alternatives, 2) naturally enables Kronecker and Toeplitz algebra for substantial additional gains in scalability, without requiring any grid data, and 3) can be used for fast and expressive kernel learning. KISS-GP costs O(n) time and storage for GP inference. We evaluate KISS-GP for kernel matrix approximation, kernel learning, and natural sound modelling.

研究の動機と目的

• 標準のガウス過程がO(n³)でスケーリングする計算のボトル neck を解消し、小規模データセットに限定される運用を克服すること。
• 誘導点手法を共通のカーネル補間問題として定式化することで、既存の誘導点手法を統合的かつ一般化すること。
• KroneckerおよびToeplitz手法のグリッド制限を克服し、任意の配置の入力に対してもそれらを適用可能にすること。
• 多数の誘導点を効率的にサポートすることで、表現力のあるカーネル学習と高精度な予測を実現すること。
• カスタマイズ可能な補間戦略を備えた柔軟なフレームワーク—SKI—を設計し、新しいスケーラブルなGP手法の開発を可能にすること。

提案手法

• SKIフレームワークは、誘導点手法をグローバルなGPカーネル補間として解釈し、スケーラブルな推論のための近似カーネルを生成する。
• 訓練点と誘導点間の共分散行列を近似するために、局所的3次補間および逆距離加重補間戦略を導入する。
• KISS-GPはKroneckerおよびToeplitz代数を活用し、P次元の入力に対してそれぞれO(n + m log m)およびO(n + Pm^{1+1/P})の計算複雑度を達成する。
• 入力が規則的なグリッド上にない場合でも、構造的行列代数を活用することで、m ≫ nの誘導点を効率的に扱える。
• フレームワークはカーネル近似を構造的成分に分解し、高速な行列演算と記憶量の削減を可能にする。
• GPMLツールボックスへの拡張として実装されており、大規模データセットにおけるエンドツーエンドの学習と予測をサポートする。

実験結果

リサーチクエスチョン

• RQ1 誘導点手法は、カーネル補間に基づく共通のフレームワークによって、どのように統合的かつ一般化可能か？
• RQ2 任意の配置の入力に対しても、KroneckerおよびToeplitz構造を活用できるようなカーネル補間戦略を設計可能か？
• RQ3 誘導点の数を増加させることで、スケーラブルなGP手法における予測精度とカーネル学習の表現力はどの程度向上するか？
• RQ4 補間戦略の選択（例：局所的3次補間対グローバル補間）が、精度と計算効率のトレードオフにどのように影響するか？
• RQ5 SKIフレームワークは、既存の最先端手法を上回る新しい高効率なGPモデルの設計に使用可能か？

主な発見

• KISS-GPはGP推論においてO(n)の時間および記憶量の複雑さを達成し、大規模データセットにおけるスケーラブルな推論を可能にする。
• 59,306個の訓練点を用いた自然音のモデリングにおいて、KISS-GPはFITCの半分未満の標準化平均絶対誤差（SMAE）を達成し、実行時間は1%未満に抑えられた。
• m ∈ [2500, 5000]の誘導点を用いた場合、KISS-GPの実行時間はほぼ一定であったが、FITCの実行時間はmの増加に伴い著しく増加した。
• m ∈ [250, 1250]の範囲で、KISS-GPはSMAE ∈ [1.00, 1.05]（対象：SSGPRの[1.12, 1.23]）の高精度と、100秒未満の高速な実行時間（対象：最大8400秒）を達成した。
• KISS-GPが採用した局所的3次補間により、FITCが誘導点の数が限られているために過剰に平滑化していたのと比較して、関数の曲率回復が優れていた。
• SKIフレームワークにより、m ≫ nの誘導点を効率的に活用でき、表現力のあるカーネル学習と予測性能の向上が実現された。