[論文レビュー] Bayesian Inference for Gaussian Process Classifiers with Annealing and Exact-Approximate MCMC

Maurizio Filippone|arXiv (Cornell University)|Nov 28, 2013

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

この論文は、ガウス過程分類器におけるベイズ推論を改善するために、擬似周辺尤度推定の分散をデータサイズに比例して指数関数的に低減しつつ、多項式の計算コストを維持する、アニールド・インポートランス・サンプリング（AIS）を擬似周辺MCMCに組み込む手法を提案する。この手法により、標準的なインポートランス・サンプリングに比べて、カーネルパラメータ推定における不確実性の定量化がより正確かつ自動的に行えるようになる。

ABSTRACT

Kernel methods have revolutionized the fields of pattern recognition and machine learning. Their success, however, critically depends on the choice of kernel parameters. Using Gaussian process (GP) classification as a working example, this paper focuses on Bayesian inference of covariance (kernel) parameters using Markov chain Monte Carlo (MCMC) methods. The motivation is that, compared to standard optimization of kernel parameters, they have been systematically demonstrated to be superior in quantifying uncertainty in predictions. Recently, the Pseudo-Marginal MCMC approach has been proposed as a practical inference tool for GP models. In particular, it amounts in replacing the analytically intractable marginal likelihood by an unbiased estimate obtainable by approximate methods and importance sampling. After discussing the potential drawbacks in employing importance sampling, this paper proposes the application of annealed importance sampling. The results empirically demonstrate that compared to importance sampling, annealed importance sampling can reduce the variance of the estimate of the marginal likelihood exponentially in the number of data at a computational cost that scales only polynomially. The results on real data demonstrate that employing annealed importance sampling in the Pseudo-Marginal MCMC approach represents a step forward in the development of fully automated exact inference engines for GP models.

研究の動機と目的

• ガウス過程分類器におけるカーネルパラメータのベイズ推論を、周辺尤度推定の分散低減によって改善すること。
• GPモデルにおける擬似周辺MCMCにおいて、標準的インポートランス・サンプリングの限界を解消すること。
• 最適化に基づく手法よりも信頼性の高いカーネルパラメータの不確実性を定量化できる、スケーラブルかつ正確な推論フレームワークを開発すること。
• 実データ応用において、アニールド・インポートランス・サンプリングが標準的インポートランス・サンプリングよりも実用的な利点を示すことを実証すること。

提案手法

• 論文は、周辺尤度が解析的に計算できないため、インポートランス・サンプリングによる不偏推定に置き換えることで、擬似周辺MCMCを採用する。
• 標準的インポートランス・サンプリングの代替として、周辺尤度推定の分散低減を目的に、アニールド・インポートランス・サンプリング（AIS）を導入する。
• AISは、単純な提案分布と目的の後方分布の間の複数の中間分布の系列を構築し、サンプリング効率を向上させる。
• 目的の密度が徐々に上昇する分布の経路を用いることで、周辺尤度のより正確で安定した推定が可能になる。
• AISの計算コストはデータサイズに対して多項式的に増加するが、分散低減はデータポイント数に対して指数関数的である。
• この手法は、ガウス過程分類器の完全なベイズ推論パイプラインに統合されており、自動的かつ正確な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アニールド・インポートランス・サンプリングは、標準的インポートランス・サンプリングに比べて、GP分類における周辺尤度推定の分散をより効果的に低減できるか？
• RQ2 データポイント数に応じて指数関数的に分散低減を達成しつつ、計算の実行可能性を維持できるか？
• RQ3 AISに基づく擬似周辺MCMCの性能は、カーネルパラメータの不確実性を定量化する点で、標準的最適化法と比べてどのように異なるか？
• RQ4 本手法は、信頼性のある不確実性推定を伴って、実世界のデータセットに実用的に適用可能か？

主な発見

• アニールド・インポートランス・サンプリングは、データポイント数に比例して周辺尤度推定の分散を指数関数的に低減し、推定精度を顕著に向上させる。
• AISに基づく手法の計算コストは、データサイズに対して多項式的に増加するため、より大きなデータセットに対しても実行可能である。
• 標準的インポートランス・サンプリングに比べ、AISは、GP分類器の擬似周辺MCMCにおいて、より安定的かつ信頼性の高い後方分布推定を提供する。
• 実データを用いた実験結果から、本手法により、より頑健で自動化されたベイズ推論が可能になり、不確実性の定量化が向上することが示された。