[論文レビュー] Blitzkriging: Kronecker-structured Stochastic Gaussian Processes

Thomas E. Nickson, Tom Gunter+3 more|arXiv (Cornell University)|Oct 27, 2015

Gaussian Processes and Bayesian Inference参考文献 23被引用数 13

ひとこと要約

Blitzkriging は、誘導点数に対して線形スケーリングを達成する Konecker 構造をもつ確率的ガウス過程を導入し、グリッド構造を要しない大規模データセット上でも効率的な推論を可能にした。スペクトル混合カーネルと確率的最適化を活用して、豊富な共分散構造を学習しながら、標準的な変分推論やランダムフォレストを上回る予測精度と計算効率を実現した。

ABSTRACT

We present Blitzkriging, a new approach to fast inference for Gaussian processes, applicable to regression, optimisation and classification. State-of-the-art (stochastic) inference for Gaussian processes on very large datasets scales cubically in the number of 'inducing inputs', variables introduced to factorise the model. Blitzkriging shares state-of-the-art scaling with data, but reduces the scaling in the number of inducing points to approximately linear. Further, in contrast to other methods, Blitzkriging: does not force the data to conform to any particular structure (including grid-like); reduces reliance on error-prone optimisation of inducing point locations; and is able to learn rich (covariance) structure from the data. We demonstrate the benefits of our approach on real data in regression, time-series prediction and signal-interpolation experiments.

研究の動機と目的

• 誘導点数に伴い立方体スケーリングを示す標準的なガウス過程推論の課題を解決すること。これは、大規模データセットにおけるスケーラビリティを制限する。
• データがグリッド構造や規則的な構造に従う必要がない、効率的かつスケーラブルなガウス過程推論を可能にすること。
• 誘導点の位置の感度に依存するのを減らしながら、複雑でデータ駆動の共分散構造を学習できる能力を維持すること。
• 計算効率のための Konecker 構造の利点と、柔軟で適応可能なモデリングに適したスペクトル混合カーネルの表現力の両方を統合すること。
• 最小限のハイパーパrameterチューニングで、回帰、時系列予測、信号補間の分野で最先端の性能を達成すること。

提案手法

• 本手法は、入力次元に跨る分離可能なカーネル構造を活用して、共分散行列の Konecker 構造近似を用いることで、誘導点数に線形時間で推論を実現する。
• 大規模データセット上で効率的な最適化を可能にするために、確率的勾配降下法を用いる。これにより、フルバッチ計算を必要としない。
• 共分散関数としてスペクトル混合（SM）カーネルを用い、複数のガウス分布の和としてパラメータ化することで、複雑で長距離に及ぶ依存関係をモデル化する。
• 誘導点は規則的なグリッド上に配置されるが、その位置は最適化されない。代わりに、各誘導点ごとに平均値を学習することで、初期値への感度を低減する。
• 大きな共分散行列の逆行列を効率的に計算するために、Woodbury 行列恒等式を活用し、誘導点上で小さな構造的問題に還元することで逆行列を求める。
• 完全なグリッド上での正確な推論と、ほぼ完全なグリッド上での擬似観測を用いた近似推論の両方をサポートし、高い精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 誘導点数に対して線形スケーリングが達成可能であり、かつグリッド構造を要しない大規模で非グリッド構造のデータセットにおいて、高い予測精度を維持できるガウス過程推論は可能か？
• RQ2 Konecker 構造を用いる手法は、データを規則的なグリッドに強制しなくても、豊富でデータ駆動の共分散構造をどれだけ学習できるか？
• RQ3 Blitzkriging は、標準的な変分推論（例：SVGP）やアンサンブル手法（例：ランダムフォレスト）と比較して、スケーラビリティと予測性能の面でどの程度優れているか？
• RQ4 確率的最適化は、GP モデルにおける誘導点位置の慎重なチューニングの必要性を代替できるか？
• RQ5 Konecker 構造フレームワーク内に柔軟なスペクトル混合カーネルを用いることで、パターン発見および一般化性能にどのような影響を与えるか？

主な発見

• 風速自己回帰タスクにおいて、Blitzkriging はテスト RMSE 0.645 を達成し、SVGP（0.389）とランダムフォレスト（0.248）を予測対数尤度の面で上回りながら、競争力ある RMSE を維持した。
• 2次元の住宅価格予測において、50×70 の誘導点グリッドを用いた Blitzkriging は、SVGP よりも高い予測対数尤度を達成し、ランダムフォレストと同等の RMSE を示した。これは、後者の非定常な柔軟性にもかかわらず顕著な結果である。
• SVGP よりもハイパーパramータ初期値へのロバスト性が優れており、特別なチューニングを要せず、L-BFGS や Adadelta といったオフザシェル最適化手法を用いても安定した性能を発揮した。
• Blitzkriging はスペクトル混合カーネルを用いて、複雑で軸に沿った周期的パターンを学習し、実世界のデータにおいて優れたパターン発見能力を示した。
• 誘導点数に伴い線形にスケーリングされ、最大 172,563 のデータ例を含むデータセット上でも効率的な学習が可能であり、高い精度を維持した。
• 住宅データにおいて、ランダムフォレストよりも予測対数尤度が優れており、非定常性を持つフォレストでさえも、地域価格の変動への一般化性能が劣ることを示唆した。