[論文レビュー] Generic Inference in Latent Gaussian Process Models

Edwin V. Bonilla, Karl Krauth+1 more|arXiv (Cornell University)|Sep 2, 2016

Gaussian Processes and Bayesian Inference参考文献 68被引用数 12

ひとこと要約

本論文は、任意の尤度を伴う潜在ガウス過程モデルに対する汎用的でスケーラブルな変分推論手法を提案する。変分事後分布として混合ガウス分布を用い、一変量のサンプリングを用いた効率的なモンテカルロ推定を実装している。この手法は、モデル固有の導出を必要とせず、大規模な回帰および分類タスクにおいて最先端の性能を達成する。

ABSTRACT

We develop an automated variational method for inference in models with Gaussian process (GP) priors and general likelihoods. The method supports multiple outputs and multiple latent functions and does not require detailed knowledge of the conditional likelihood, only needing its evaluation as a black-box function. Using a mixture of Gaussians as the variational distribution, we show that the evidence lower bound and its gradients can be estimated efficiently using samples from univariate Gaussian distributions. Furthermore, the method is scalable to large datasets which is achieved by using an augmented prior via the inducing-variable approach underpinning most sparse GP approximations, along with parallel computation and stochastic optimization. We evaluate our approach quantitatively and qualitatively with experiments on small datasets, medium-scale datasets and large datasets, showing its competitiveness under different likelihood models and sparsity levels. On the large-scale experiments involving prediction of airline delays and classification of handwritten digits, we show that our method is on par with the state-of-the-art hard-coded approaches for scalable GP regression and classification.

研究の動機と目的

• 一般的で非線形な尤度を伴うガウス過程モデルの完全自動推論手法を開発し、変分境界の手動導出を回避すること。
• スパースGP近似と確率的最適化、並列計算を組み合わせることで、大規模データセットにおけるスケーラビリティを向上させること。
• 因子化された尤度と事前分布を用いて、多出力および複数の潜在関数を持つモデルをサポートすること。
• 解析的勾配や閉形式表現を必要とせず、尤度をブラックボックスとして評価できるようにすること。
• 多様な確率的モデルにおけるカスタム変分推論の導出負担を軽減すること。

提案手法

• 誘導変数上の変分事後分布として混合ガウス分布を用い、複雑な事後分布を柔軟に近似する。
• 一変量ガウス分布からのサンプリングを用いたモンテカルロ推定により、下界尤度（ELBO）とその勾配を効率的に計算する。
• 誘導変数近似（スパースGPフレームワーク）を適用し、少数の誘導入力を導入することで、大規模データセットへのスケーリングを実現する。
• 確率的最適化と並列計算を活用することで、さらにスケーラビリティと学習効率を向上させる。
• 観測値と関数ごとに因子化された事前分布と尤度を用いることで、複数の潜在関数と出力を持つモデルをサポートする。
• 尤度をブラックボックスとして扱い、評価のみを要求し、解析的表現や勾配計算を必要としない。

実験結果

リサーチクエスチョン

• RQ1 任意の尤度を伴う潜在ガウス過程モデルに対して、モデル固有の導出を必要とせず、汎用的な変分推論フレームワークを開発できるか？
• RQ2 一変量のサンプリングを用いたモンテカルロ推定は、複雑なGPモデルにおけるELBOおよびその勾配をどれほど効果的に近似できるか？
• RQ3 提案手法は、予測精度と不確実性のキャリブレーションを維持したまま、大規模データセットにどれほどスケーリングできるか？
• RQ4 回帰および分類タスクにおいて、ハードコードされた最先端手法と比較して、汎用手法の性能はどの程度か？
• RQ5 異なるデータセットにおいて、誘導入力の位置を学習するか固定するかの違いが、モデル性能に与える影響はどの程度か？

主な発見

• 本手法は、大規模な回帰（航空便遅延）および分類（MNIST）タスクにおいて、最先端のハードコード手法と同等の性能を達成した。
• MNISTデータセットでは、誘導変数の数を10倍も減らしたにもかかわらず、誘導入力の位置を学習することで、密度の高いモデルと同等の性能向上が得られた。
• Sarcosデータセットでは、全7つの関節を含む完全なGP回帰ネットワーク（GPRN）モデルを用いても、点予測（MSE）がわずかに悪化したものの、不確実性推定（NLPDが低くなった）が向上した。
• Sarcosの実験では、安定した結果を得るため10,000個のモンテカルロサンプルが必要であったことから、複数の潜在過程の積を含む複雑な尤度では分散が高くなる傾向があることが示された。
• 本手法は、さまざまなスパarsityレベルや尤度モデルに対してロバストであり、誘導入力を最適化することで一貫した改善が得られた。
• 変分事後分布として混合ガウス分布を用いることで、高次元で多出力の設定においても正確な事後分布近似が可能になった。