[論文レビュー] Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression

Haibin Yu, Trong Nghia Hoang+2 more|arXiv (Cornell University)|Nov 1, 2017

Gaussian Processes and Bayesian Inference参考文献 45被引用数 6

ひとこと要約

本稿では、変分パラメータとして誘導変数とハイパーパrameterを同時に最適化することで、スケーラブルで1イテレーションあたり定数時間の確率的最適化を可能にする、ベイジアンスパースガウス過程回帰（VBSGPR）の確率的変分推論フレームワークを提案する。この手法は不偏な確率的勾配を用いて漸近的収束を達成し、大規模データセットにおいて優れた性能を示すとともに、ハイパーパrameterの完全な事後分布推論により不確実性の定量化を維持する。

ABSTRACT

This paper presents a novel variational inference framework for deriving a family of Bayesian sparse Gaussian process regression (SGPR) models whose approximations are variationally optimal with respect to the full-rank GPR model enriched with various corresponding correlation structures of the observation noises. Our variational Bayesian SGPR (VBSGPR) models jointly treat both the distributions of the inducing variables and hyperparameters as variational parameters, which enables the decomposability of the variational lower bound that in turn can be exploited for stochastic optimization. Such a stochastic optimization involves iteratively following the stochastic gradient of the variational lower bound to improve its estimates of the optimal variational distributions of the inducing variables and hyperparameters (and hence the predictive distribution) of our VBSGPR models and is guaranteed to achieve asymptotic convergence to them. We show that the stochastic gradient is an unbiased estimator of the exact gradient and can be computed in constant time per iteration, hence achieving scalability to big data. We empirically evaluate the performance of our proposed framework on two real-world, massive datasets.

研究の動機と目的

• 既存の変分スパースGPモデルが1イテレーションあたり線形時間の計算コストを要するというスケーラビリティの制限を解消すること。
• 誘導変数とハイパーパrameterを変分パラメータとして統合的に取り扱うフレームワークを構築し、分解可能な変分下界を可能にすること。
• 1イテレーションあたり定数時間の複雑さを維持しながら、最適な変分近似への漸近的収束を保証する確率的最適化を可能にすること。
• ハイパーパrameterの完全なベイズ推論をサポートし、モデルパラメータの不確実性を捉えることで、下流タスクにおけるロバストネスを向上させること。
• 大規模な実世界データセットを用いた実験的検証を通じて、スケーラビリティと予測精度を実証すること。

提案手法

• 誘導変数とハイパーパrameterを変分パラメータとして統合的に扱うことで、分解可能な変分下界を定式化する。
• ミニバッチデータを用いて効率的に勾配を計算する確率的勾配上昇法を採用する。
• 1イテレーションあたり定数時間で計算される不偏な確率的勾配であり、データセットサイズに依存しない。
• 誘導入力とノイズ構造を含む構造化された変分近似を用いることで、予測平均と分散の効率的計算を実現する。
• 閉形式の期待値が計算不可能なため、ハイパーパラメータの変分事後分布上でのモンテカルロサンプリングにより予測分布を計算する。
• オンラインおよび分散処理の拡張をサポートし、ストリーミング処理や大規模データ処理に適している。

実験結果

リサーチクエスチョン

• RQ1 誘導変数とハイパーパラメータを変分パラメータとして統合的に最適化する、スパースGP回帰のための変分推論フレームワークを設計可能か？
• RQ2 このようなフレームワークは、収束保証を維持しつつ、1イテレーションあたり定数時間の確率的最適化を可能にするか？
• RQ3 100万点規模のデータセットに対しても、ハイパーパラメータ推定における不確実性の定量化を維持できるか？
• RQ4 提案されたVBSGPRモデルの予測性能は、大規模な実世界データにおいて既存のスパースGP手法と比較して優れているか？
• RQ5 ポイント推定に基づく手法と比較して、予測不確実性のキャリブレーションは維持または向上するか？

主な発見

• 提案されたVBSGPRフレームワークは、確率的勾配更新の1回あたり定数時間の計算を達成し、数百万点のデータに対してスケーラブルである。
• 確率的勾配は真の勾配の不偏推定器であり、最適な変分近似への漸近的収束を保証する。
• 2つの大規模な実世界データセットにおいて、予測精度と不確実性キャリブレーションの両面で、既存の変分スパースGPモデルを上回る性能を示した。
• ハイパーパラメータの完全な事後分布を学習することで、ポイント推定手法と比較して過学習のリスクを低減するパラメータの不確実性を捉えることができる。
• 分解可能な変分下界のおかげで、従来の変分GPアプローチにおける線形時間のボトルネックを克服し、効率的な確率的最適化が可能になった。
• 実験結果から、大規模データへのスケーリングと高い予測性能の両立が、本フレームワークによって確実に達成されていることが確認された。