[論文レビュー] Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models

Aki Vehtari, Tommi Mononen+3 more|arXiv (Cornell University)|Dec 23, 2014

Gaussian Processes and Bayesian Inference参考文献 56被引用数 58

ひとこと要約

本稿では、ラプラス法および期待値伝搬（EP）による事後分布近似を用いて、ガウス隠れ変数モデルにおけるベイジアンLOO交差検証の高速かつ高精度な近似を提案する。LOOの周辺分布（キャビティ分布）に対するガウス近似を用いることで、完全データ事後分布推定後に追加コストをほとんど要せず、最も正確かつ効率的な方法であることが示された。

ABSTRACT

The future predictive performance of a Bayesian model can be estimated using Bayesian cross-validation. In this article, we consider Gaussian latent variable models where the integration over the latent values is approximated using the Laplace method or expectation propagation (EP). We study the properties of several Bayesian leave-one-out (LOO) cross-validation approximations that in most cases can be computed with a small additional cost after forming the posterior approximation given the full data. Our main objective is to assess the accuracy of the approximative LOO cross-validation estimators. That is, for each method (Laplace and EP) we compare the approximate fast computation with the exact brute force LOO computation. Secondarily, we evaluate the accuracy of the Laplace and EP approximations themselves against a ground truth established through extensive Markov chain Monte Carlo simulation. Our empirical results show that the approach based upon a Gaussian approximation to the LOO marginal distribution (the so-called cavity distribution) gives the most accurate and reliable results among the fast methods.

研究の動機と目的

• ガウス隠れ変数モデル（GLVMs）におけるベイジアンLOO交差検証のための効率的かつ高精度な近似手法の開発。
• ラプラス法および期待値伝搬（EP）法に基づくLOO近似の正確性を、正確なブルートフォースLOO計算と比較して評価すること。
• 正確性と計算コストの観点から、さまざまなLOO近似手法の性能を比較すること。
• マルコフ連鎖モンテカルロ（MCMC）を基準として、ラプラス法およびEPによる事後分布近似自体の信頼性を評価すること。
• キャビティ分布に基づくLOO近似が、正確性と計算効率の両立を最も良く果たしていることを確立すること。

提案手法

• GLVMsにおける隠れ変数の事後分布を、ラプラス法および期待値伝搬（EP）を用いて近似する。
• LOO周辺分布（キャビティ分布）に対してガウス近似を適用し、高速なLOO交差検証推定値を計算する。
• 完全データ事後分布近似を形成した後、最小限の追加コストでLOO近似を計算する。
• キャビティ分布アプローチを用いて、各左記観測値の予測性能を推定する。
• キャビティベースLOOを、モーメント補正（LA-CM2、EP-FACT）およびMCMCによる正確なLOOと比較する。
• GLVMsの因子化された尤度構造を活用し、完全な事後分布推定を再実行せずにLOOを効率的に計算可能とする。

実験結果

リサーチクエスチョン

• RQ1 MCMCを用いた正確なLOOと比較して、ラプラス法およびEP法に基づく高速LOO交差検証近似はどの程度正確か？
• RQ2 キャビティ分布、モーメント補正、直接近似のうち、どのLOO近似手法が最も正確な予測性能推定を提供するか？
• RQ3 キャビティ分布アプローチを用いたLOO計算の計算オーバーヘッドは、標準的な事後分布推定と比べてどの程度か？
• RQ4 ラプラス法およびEP近似は、MCMCを基準としてした事後分布の正確性において、どの程度の性能を示すか？
• RQ5 キャビティ分布法は、計算コストを最小限に抑えながら、GLVMsにおけるモデル選択および性能評価に信頼性をもって使用可能か？

主な発見

• キャビティ分布に基づくLOO近似は、高速LOO手法の中で最も正確で信頼性が高く、モーメント補正および直接近似手法を上回った。
• キャビティベース手法は、完全データ事後分布近似後にほとんど追加コストを要せず、極めて効率的であった。
• プロビット尤度の場合、GPstuff-EPはGPstuff-LAの1.5〜5倍の速度で実行されたが、対数対数ロジスティック尤度（右打ち切りあり）では、四則演算ベースのモーメント計算が遅いため、約18倍遅くなった。
• GPstuff-EPは、より優れたベクトル化および並列更新のおかげで、GPML-EPの10〜25倍速く、実装の効率性が顕著に表れた。
• グローバルガウス変分（KL）法は、O(n³)スケーリングが類似しているにもかかわらず、GPML-EPの70〜500倍も遅く、高い計算コストを伴うことが確認された。
• スルーディアスのt尤度の場合、GPstuffのロバストEP実装は良好に機能したが、GPML-KLは収束が不十分で、顕著な性能劣化を示した。