[論文レビュー] Slice sampling covariance hyperparameters of latent Gaussian models

Iain Murray, Ryan P. Adams|arXiv (Cornell University)|Jun 4, 2010

Gaussian Processes and Bayesian Inference参考文献 17被引用数 117

ひとこと要約

本稿では、非ガウス尤度を伴う潜在ガウス過程モデルにおけるハイパーパrameter推論のためのスライスサンプリング手法を提案する。新しい補助データ表現とポストサイト再パラメータライゼーションを活用することで、チューニング不要のロバストなMCMCサンプリングが可能となり、強データおよび弱データの両領域において混合性能が著しく向上し、標準的なメトロポリス・ハスティングス法や既存のスライスサンプラーを上回る。

ABSTRACT

The Gaussian process (GP) is a popular way to specify dependencies between random variables in a probabilistic model. In the Bayesian framework the covariance structure can be specified using unknown hyperparameters. Integrating over these hyperparameters considers different possible explanations for the data when making predictions. This integration is often performed using Markov chain Monte Carlo (MCMC) sampling. However, with non-Gaussian observations standard hyperparameter sampling approaches require careful tuning and may converge slowly. In this paper we present a slice sampling approach that requires little tuning while mixing well in both strong- and weak-data regimes.

研究の動機と目的

• 非ガウス尤度を伴う潜在ガウスモデルにおけるハイパーパrameter推論のためのMCMC法において、混合が遅く、チューニングに敏感であるという課題に対処すること。
• チューニングがほとんど不要な一般化された、ロバストな共分散ハイパーパrameter用サンプリング手法を開発すること。
• 標準的手法がしばしば失敗する強データおよび弱データの両領域において、事後分布の探索を改善すること。
• 複雑な尤度を持つガウス過程モデルにおけるベイズ推論のための実用的で即挿し可能なソリューションを提供すること。
• 白色化された事前分布を用いた単純な再パラメータライゼーションが、標準的な条件付き更新法を上回ることを示すこと。

提案手法

• ハイパーパrameter θのためのスライスサンプリングアプローチを提案し、効率的なサンプリングを可能にするために、尤度を再パラメータライズする補助データモデルを導入する。
• ポストサイト再パラメータライゼーションを用い、条件付き事後分布 P(θ|f) をスライスサンプリングに適した形に変換することで、最小限のチューニングで実現する。
• 問題固有の導出を必要とせず、広範な共分散構造と尤度に対して機能するロバストな表現を採用する。
• 補助データ手法とスライスサンプリングを組み合わせることで、詳細なバランスを維持し、正しい事後分布への収束を保証する。
• ガウス尤度および非ガウス尤度（非一様ポアソン観測を伴うコックス過程モデルを含む）の両方の設定に適用する。
• 潜在変数 f をハイパーパrameter θ から分離する再パラメータライゼーションを採用することで、事後分布の依存性を低減し、混合性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非ガウス尤度を伴う潜在ガウスモデルにおけるハイパーパrameter推論のためのスライスサンプリングを、ロバストかつチューニング不要にできるか？
• RQ2 強データおよび弱データの両領域において、提案手法のスライスサンプラーは、標準的なメトロポリス・ハスティングス法や既存のスライスサンプラーと比較してどの程度優れているか？
• RQ3 補助データおよびポストサイト再パラメータライゼーションは、直接的な条件付き更新と比較して、MCMCの混合性能をどの程度向上させるか？
• RQ4 提案手法は、ポアソン尤度やバイナリ尤度を含む多様な尤度モデルにおいても効率性を維持できるか？
• RQ5 実際の応用において、事前分布の白色化のような単純な再パラメータライゼーションが、標準的な条件付き更新スキームを上回る性能を示せるか？

主な発見

• 補助データとポストサイト再パラメータライゼーションを組み合わせた提案手法は、標準的なメトロポリス・ハスティングス法や既存のスライスサンプラーと比較して、特に弱データ領域において顕著に優れた混合性能を達成した。
• イオノスフィア分類タスクでは、surr-site手法がベースラインを大きく上回り、有効サンプルサイズが最大2〜3倍まで向上した。
• マインィングディザスタデータセットでは、すべての提案手法が良好な性能を示したが、surr-siteおよびsurr-taylorがゼロカウントバインの処理に優れていたため、特に優れた性能を発揮した。
• 高スパarsity（多数のゼロカウントバインを含む）を持つレッドウッドツリーのデータセットでは、surr-taylorがpost-taylorおよびprior-whiteを上回った。これは、サイト事後分布を近似する利点が顕著に現れたことを示している。
• ポストサイトおよびsurr-site手法は、非ガウス設定においてもprior-whiteおよびベースライン手法よりもよりロバストであることが判明した。
• 単純な再パラメータライゼーションである事前分布の白色化ですら、混合性能を顕著に向上させることを示しており、実用的・実践的においては優先的に採用すべきであると示唆された。