[論文レビュー] The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models

Óli Páll Geirsson, Birgir Hrafnkelsson+2 more|arXiv (Cornell University)|Jun 20, 2015

Statistical Methods and Bayesian Inference参考文献 7被引用数 4

ひとこと要約

本稿では、潜在ガウス過程モデル（LGMs）における計算効率を向上させるために、潜在パラメータをデータ豊富なブロックとデータ貧困なブロックに分割する2ブロックのギブスサンプリングスキーム、MCMCスプリットサンプラーを提案する。データ貧困ブロックのガウス構造を活用することで、尤度関数に依存せずに効率的なサンプリングが可能となり、高次元の潜在フィールドに対してもスケーラブルであり、任意のパラメトリックなデータ密度をサポートする。

ABSTRACT

A novel computationally efficient Markov chain Monte Carlo (MCMC) scheme for latent Gaussian models (LGMs) is proposed in this paper. The sampling scheme is a two block Gibbs sampling scheme designed to exploit the model structure of LGMs. We refer to the proposed sampling scheme as the MCMC split sampler. The principle idea behind the MCMC split sampler is to split the latent Gaussian parameters into two vectors. The former vector consists of latent parameters which appear in the data density function, while the latter vector consists of latent parameters which do not appear in it. The former vector is placed in the first block of the proposed sampling scheme and the latter vector is placed in the second block along with any potential hyperparameters. The resulting conditional posterior density functions within the blocks allow the MCMC split sampler to handle, by design, LGMs with latent models imposed on more than just the mean structure of the data density function. The MCMC split sampler is also designed to be applicable for any choice of a parametric data density function. Moreover, it scales well in terms of computational efficiency when the dimension of the latent model increase.

研究の動機と目的

• 複雑な尤度構造を有する潜在ガウス過程モデル（LGMs）における後方推論における計算的課題に対処すること。
• 潜在フィールドがデータ密度の平均だけでなく他のパラメータにも影響を与える場合のMCMCサンプリングにおける混合性と収束性を改善すること。
• 非ガウス尤度と高次元の潜在構造を有するLGMsに適用可能なスケーラブルで効率的なMCMCスキームを開発すること。
• 1つのブロックにガウス条件付き後方分布を分離することで、サンプリングスキームのモジュラー設計を可能にすること。

提案手法

• 潜在パラメータを2つのブロックに分割する：データ密度に現れるパラメータ（データ豊富）を含むブロックと、現れないパラメータ（データ貧困）を含むブロック。
• データ貧困ブロックの条件付き後方分布は、データ密度関数の選択に依存しない既知のガウス分布である。
• データ貧困ブロックは、スパースなGMRF精度構造を活用することでスケーラブルな、Knorr-HeldとRue（2002）の1ブロックサンプラーなどの効率的アルゴリズムを用いてサンプリングされる。
• データ豊富ブロックは、尤度の構造に合わせて調整可能な柔軟なスキーム（MALA や HMC など）を用いてサンプリングされる。
• 全体のスキームは、2つのブロックを交互に更新するギブスサンプリングであり、データ貧困ブロックの後方分布は解析的に扱えるため、計算が効率的である。
• この手法はモジュラーである：各ブロックのサンプリング戦略は独立して開発・改善可能である。

実験結果

リサーチクエスチョン

• RQ1 潜在効果が尤度の平均だけでなく複数のパラメータに影響を与える場合、潜在ガウス過程モデルにおけるMCMCサンプリングをどのようにしてより効率化できるか？
• RQ2 尤度関数の選択に依存しない後方分布を持つブロックギブスサンプラーを設計できるか？これにより、より高速で安定したサンプリングが可能になるか？
• RQ3 潜在フィールドの次元が増加するに従って、提案されたスプリットサンプラーはどの程度スケーリングするか？
• RQ4 指数型分布族に制限を設けないまま、LGMsにおけるMCMCの計算効率をどのように向上できるか？

主な発見

• データ貧困ブロックの条件付き後方分布は、データ密度関数とは無関係に既知のガウス分布であり、これにより極めて効率的なサンプリングが可能になる。
• データ貧困ブロックにスパースなGMRF精度構造が保持されるため、潜在フィールドの次元が増加してもスケーリングに優れる。
• データ貧困ブロックの計算効率は、ハイパーパrameterのサンプリングスキームにのみ依存するため、全体の手法はモジュラーかつ拡張可能である。
• データ貧困ブロックのガウス構造のおかげで、尤度の種類に関わらずKnorr-HeldとRue（2002）の効率的1ブロックサンプラーが利用可能である。
• 本手法は、非ガウス尤度を含む任意のパラメトリックなデータ密度関数をサポートするため、標準モデルを超えた応用範囲を広げる。
• 各ブロックのサンプリングスキームを独立して最適化できるため、柔軟性と性能が向上する。