[論文レビュー] MCMC for Variationally Sparse Gaussian Processes

James Hensman, Alexander Matthews+2 more|Graduate School and Research Center in Digital Science (EURECOM)|Jun 12, 2015

Gaussian Processes and Bayesian Inference参考文献 34被引用数 55

ひとこと要約

この論文は、変分インダクティングポイントと非ガウス事後分布近似を組み合わせたハイブリッドマルコフ連鎖モンテカルロ（HMC）推論方式を、ガウス過程（GP）に提案する。この手法により、データサイズよりもはるかに少ないインダクティングポイントで、関数値およびハイパーパrameterのほぼ正確な事後分布推定が可能となり、MNIST や合成問題を含む実世界のデータセットにおいて、ガウス近似よりも精度と不確実性のキャリブレーションが優れている。

ABSTRACT

Gaussian process (GP) models form a core part of probabilistic machine learning. Considerable research effort has been made into attacking three issues with GP models: how to compute efficiently when the number of data is large; how to approximate the posterior when the likelihood is not Gaussian and how to estimate covariance function parameter posteriors. This paper simultaneously addresses these, using a variational approximation to the posterior which is sparse in support of the function but otherwise free-form. The result is a Hybrid Monte-Carlo sampling scheme which allows for a non-Gaussian approximation over the function values and covariance parameters simultaneously, with efficient computations based on inducing-point sparse GPs. Code to replicate each experiment in this paper will be available shortly.

研究の動機と目的

• 大規模データセットにおけるガウス過程の正確なベイジアン推論の計算的非実行可能性に対処する。
• 事後分布をガウス分布と仮定する既存の変分法の限界、およびハイパーパrameterに対して点推定を用いることの制限を克服する。
• 関数値および共分散関数のハイパーパrameterの両方に対して、非ガウス事後分布近似を共同で実現する。
• スパースインダクティングポイント近似を通じて、計算コストを低減しつつ高い精度を維持するスケーラブルな推論フレームワークを開発する。
• MCMCが大規模GPモデルにおいて実用的である可能性を示し、MCMCが遅すぎるとの一般的な認識に挑戦する。

提案手法

• 計算コストの高い共分散行列の逆行列計算を軽減するため、変分インダクティングポイントフレームワークを採用する。
• インダクティング変数およびハイパーパrameterに対する自由形式の変分事後分布を用い、制限的なガウス仮定を避ける。
• インダクティング変数およびハイパーパラメータの事後分布を同時に探索するため、ハイブリッドモンテカルロ（HMC）サンプリング方式を実装する。
• スパースGP構造を活用して、完全な共分散行列演算を回避しつつ、事後期待値を効率的に計算する。
• 混合の質と収束性を向上させるために、ステップサイズおよび軌道長の自動チューニングをHMCサンプラーに統合する。
• 得られたサンプルを用いて、不確実性の高い定量的推定を実現する予測分布およびハイパーパラメータ事後分布を推定する。

実験結果

リサーチクエスチョン

• RQ1 スパースインダクティングポイント近似を用いることで、大規模ガウス過程モデルにおけるMCMCサンプリングの計算的実行可能性は達成できるか？
• RQ2 関数値およびハイパーパラメータの両方に対して非ガウス事後分布近似を採用することで、標準的なガウス変分近似よりも優れた不確実性の定量的評価が可能か？
• RQ3 GPモデルにおけるほぼ正確なベイジアン推論を達成するために必要なインダクティングポイントの数はどの程度か？また、これはデータセットサイズと比べてどうか？
• RQ4 提案されたHMC方式は、実世界のベンチマークにおいて、予測精度および対数尤度の観点で、既存の変分GP手法を上回るか？
• RQ5 インダクティングポイントの位置は分類タスクの意思決定境界にどの程度適合するか？また、その影響はモデル性能にどのように現れるか？

主な発見

• 提案されたHMCベースの推論方式は、MNISTデータセットでテスト対数密度-0.064を達成し、単一の変分近似を用いた場合の-0.068から改善した。
• MNISTでは98.04%の精度を達成し、同じベンチマークで以前のGPベースのアプローチを顕著に上回った。
• 必要なインダクティングポイントの数はデータセットサイズよりも著しく小さく、MNIST（70,000枚の画像）に対して500ポイントで十分であった。
• 自由形式の事後分布近似は、ガウス近似がより慎重であるのに対し、多次元分類問題における強い相関関係や非線形意思決定境界を捉えていた。
• HMCとギブスサンプリングは同等の効率を示し、実効サンプルサイズ（ESS）は1.9〜5.1、TN-ESSは2.8×10⁻³〜3.8×10⁻⁴の範囲で実験全体にわたって観察された。
• 最適化の過程でインダクティングポイントが意思決定境界に近づく動きを示し、分類タスクにおける複雑な非線形意思決定表面の表現が向上した。