[論文レビュー] Stochastic Variational Inference for Fully Bayesian Sparse Gaussian Process Regression Models.

Haibin Yu, Trong Nghia Hoang+2 more|arXiv (Cornell University)|Nov 1, 2017

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、完全ベイジアンスパースガウス過程回帰（VBSGPR）のための確率的変分ベイズ推論フレームワークを提案する。この手法は、確率的勾配を用いてインダクティング変数とハイパーパrameterを同時に最適化する。本手法は漸近的収束性を達成し、1イテレーションあたり定数時間の計算量を実現する。これにより、構造的ノイズを伴うフルランクGPRモデルに対する変分最適性を維持したまま、大規模データに対するスケーラブルな推論が可能になる。

ABSTRACT

This paper presents a novel variational inference framework for deriving a family of Bayesian sparse Gaussian process regression (SGPR) models whose approximations are variationally optimal with respect to the full-rank GPR model enriched with various corresponding correlation structures of the observation noises. Our variational Bayesian SGPR (VBSGPR) models jointly treat both the distributions of the inducing variables and hyperparameters as variational parameters, which enables the decomposability of the variational lower bound that in turn can be exploited for stochastic optimization. Such a stochastic optimization involves iteratively following the stochastic gradient of the variational lower bound to improve its estimates of the optimal variational distributions of the inducing variables and hyperparameters (and hence the predictive distribution) of our VBSGPR models and is guaranteed to achieve asymptotic convergence to them. We show that the stochastic gradient is an unbiased estimator of the exact gradient and can be computed in constant time per iteration, hence achieving scalability to big data. We empirically evaluate the performance of our proposed framework on two real-world, massive datasets.

研究の動機と目的

• 構造的ノイズを伴うフルランクGPRモデルに対する変分最適性を維持する完全ベイジアンスパースガウス過程回帰モデルの開発を目的とする。
• 変分パラメータのための確率的最適化手順を定式化することで、大規模データに対するスケーラブルな推論を可能にする。
• インダクティング変数とハイパーパrameterを変分パラメータとして統合的に取り扱い、分解可能な下界を実現する。
• 最適な変分分布への最適化プロセスの漸近的収束を保証する。
• 1イテレーションあたり定数時間の勾配計算を実現し、大規模データセットへのスケーラビリティを支援する。

提案手法

• インダクティング変数とハイパーパラメータを両方とも変分パラメータとして扱う変分ベイジアンSGPR（VBSGPR）フレームワークを提案する。
• 効率的な確率的最適化を可能にする分解可能な変分下界を導出する。
• 確率的勾配降下法を用いて、インダクティング変数とハイパーパラメータの変分分布を反復的に更新する。
• 正確な勾配の不偏な確率的勾配推定器を計算し、1イテレーションあたり定数時間の計算量を達成する。
• 下界の分解可能性を活用して、大規模データセット上でスケーラブルかつ反復的な最適化を実現する。
• 確率的最適化が最適な変分分布へ漸近的に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 構造的ノイズを伴うフルランクGPRモデルに対する変分最適性を達成する完全ベイジアンスパースGPモデルを開発することは可能か？
• RQ2 確率的最適化を、ベイジアンGPフレームワークにおいてインダクティング変数とハイパーパラメータを同時に推論するために効果的に適用できるか？
• RQ3 提案手法は最適な変分分布への漸近的収束を保証するか？
• RQ4 1イテレーションあたり定数時間で勾配を計算でき、大規模データへのスケーラビリティが確保できるか？
• RQ5 提案フレームワークは、既存の手法と比較して、実世界の大規模データセット上でどのように性能を発揮するか？

主な発見

• 提案されたVBSGPRフレームワークは、インダクティング変数とハイパーパラメータの最適な変分分布へ漸近的に収束する。
• 確率的勾配は正確な勾配の不偏推定器であり、信頼性の高い最適化更新を保証する。
• 最適化プロセスの各イテレーションは定数時間で実行され、大規模データセットへの効率的なスケーリングを可能にする。
• 本手法は、さまざまな構造的ノイズ相関パターンを有するフルランクGPRモデルに対する変分最適性を維持する。
• 実験的評価により、2つの実世界の大規模データセットにおいて、フレームワークの有効性が確認され、スケーラビリティと性能が示された。