[論文レビュー] Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations

Símone Rossi, Heinonen, Markus+3 more|Aaltodoc (Aalto University)|Mar 6, 2020

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

この論文は、変分スパースガウス過程における誘導入子の最適化という従来の慣習に挑戦し、誘導入子とハイパーパrameterの両方を確率的勾配ハミルトニアンモンテカルロ（SG-HMC）を用いた完全ベイズ的取り扱いを行うことを提案する。高度なサンプリング手法を用いて完全独立訓練条件（FITC）近似を再考することで、回帰および分類のベンチマークにおいて最先端の性能を達成し、点推定を用いた標準的な変分推論よりも不確実性の定量化と予測精度が顕著に向上する。

ABSTRACT

Variational inference techniques based on inducing variables provide an elegant framework for scalable posterior estimation in Gaussian process (GP) models. Besides enabling scalability, one of their main advantages over sparse approximations using direct marginal likelihood maximization is that they provide a robust alternative for point estimation of the inducing inputs, i.e. the location of the inducing variables. In this work we challenge the common wisdom that optimizing the inducing inputs in the variational framework yields optimal performance. We show that, by revisiting old model approximations such as the fully-independent training conditionals endowed with powerful sampling-based inference methods, treating both inducing locations and GP hyper-parameters in a Bayesian way can improve performance significantly. Based on stochastic gradient Hamiltonian Monte Carlo, we develop a fully Bayesian approach to scalable GP and deep GP models, and demonstrate its state-of-the-art performance through an extensive experimental campaign across several regression and classification problems.

研究の動機と目的

• 変分スパースガウス過程における誘導入子の最適化という一般的な慣習に挑戦し、それらを固定された変分パラメータとして扱うのではなく、確率的変数として扱うべきであることを目的とする。
• 誘導入子とGPハイパーパrameterの両方を完全ベイズ的に取り扱うことで、点推定と比較して優れた性能が得られるかどうかを調査すること。
• 大規模なGPおよびディープGPモデルにおける高次元の誘導入子の事後分布推論を可能にするスケーラブルでサンプリングに基づく推論フレームワークを開発すること。
• 古くからある近似法（例：FITC）を、現代のベイズ的サンプリング技術と組み合わせることで、顕著な性能向上を達成できるかどうかを検証すること。
• 誘導入子を決定論的な最適化可能なパラメータとして扱う標準的な変分推論フレームワークに対する、原理的で代替可能な手法を提供すること。

提案手法

• 誘導入子とハイパーパrameterの両方に事前分布を割り当て、確率的勾配ハミルトニアンモンテカルロ（SG-HMC）を用いてサンプリングする、スパースガウス過程の完全ベイズ推論フレームワークを提案する。
• 計算効率を保ちつつモデルの柔軟性を維持できるように、完全独立訓練条件（FITC）近似をベースのGP近似として採用する。
• ミニバッチ勾配を効率的に活用することで、大規模データセットへの事後分布サンプリングをスケーリングするため、確率的勾配マルコフ連鎖モンテカルロ（SG-MCMC）と変分推論を統合する。
• 誘導入子を事前分布を持つ確率的変数として扱い、それらの位置に関する完全な事後分布推論を点推定ではなく行う。
• 誘導変数とGPハイパーパrameterの事後分布を同時にサンプリングする共同事後分布推論スキームを採用し、別々の最適化ステップを回避する。
• 再パラメータライゼーションテクニックと効率的なカーネル近似を用いることで、計算スケーラビリティを維持しつつ、誘導入子の完全ベイズ的取り扱いを可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分フレームワークにおける誘導入子の最適化が真に最適な性能をもたらすのか、それともこれらを完全ベイズ的に取り扱う方が優れているのか？
• RQ2 FITCのような古くからのGP近似は、現代のサンプリングベース推論によって再活性化され、最先端の性能を達成できるのか？
• RQ3 大規模なGPモデルにおける高次元の誘導入子に対して、完全ベイズ推論を実行することは可能で、かつ有益なのか？
• RQ4 多様な回帰および分類タスクにおいて、点推定による誘導入子の推定と比較して、完全ベイズ的アプローチの性能はどのように異なるのか？
• RQ5 誘導入子とハイパーパラメータの両方を確率的変数として扱うことで、不確実性の定量化と予測精度にどのような影響を与えるのか？

主な発見

• 提案されたSG-HMCを用いた完全ベイズ的アプローチは、すべてのベンチマークデータセットで、最適化された誘導入子を用いた標準的な変分推論を上回り、回帰および分類タスクの両方で最先端の性能を達成した。
• 予測不確実性のキャリブレーションが顕著に向上し、負の対数予測密度（NLPD）が低く、確率的予測のカバレッジが良好であることが実証された。
• ボストン住宅データセットでは、ベイズスパースGP（bsgp）が正規化されたRMSE 0.36（±0.07）を達成し、SVG-P（0.33）や他のベースラインを上回り、精度と不確実性推定の両面で優れた性能を示した。
• プロテインデータセットでは、bsgpが正規化されたRMSE 0.65（±0.01）を達成し、IPVI-GP（0.65）とSGLD-GP（0.69）に比べて優れた一般化性能と不確実性のキャリブレーションを示した。
• ナヴァルデータセットでは、5回の実験すべてでテスト誤差とNLPDが低く抑えられ、bsgpはテスト誤差 0.01（±0.00）とNLPD -6.55（±0.09）を達成し、SVG-PとSGLD-GPを上回った。
• 結果から、誘導入子を事前分布を持つ確率的変数として扱い、事後分布サンプリングを実行することで、数千個の誘導入子を含む高次元設定においても、点推定よりもよりロバストで信頼性の高い予測が得られることを示した。