[論文レビュー] A Gibbs Sampling Alternative to Reversible Jump MCMC

Stephen G. Walker|ArXiv.org|Feb 24, 2009

Markov Chains and Monte Carlo Methods参考文献 1被引用数 4

ひとこと要約

本稿では、次元が未知のベイズ的モデル比較において、可逆ジャンプMCMCのより単純な代替手法として、新しいギブスサンプリング手法を提案する。補助の潜在変数を導入し、隣接するモデル次元間の条件付き移動を採用することで、ヤコビアン補正と詳細釣合条件の必要性を回避しつつ、パrameterとモデルインデックスの条件付きサンプリングによって正当な事後分布推定を維持する。

ABSTRACT

This note presents a simple and elegant sampler which could be used as an alternative to the reversible jump MCMC methodology.

研究の動機と目的

• 変動次元モデルにおける可逆ジャンプMCMCの計算複雑性と技術的負担を軽減すること。
• 次元が未知の状態でのモデルスイッチングに適した、より直感的で実装可能なサンプリングスキームの開発。
• 次元を越えるMCMCにおけるヤコビアン補正と詳細釣合条件の必要性を排除すること。
• 正当な事後分布推定を維持しつつ、自明で実装が容易なアルゴリズムの提供。

提案手法

• 異なるサイズのモデル間での次元遷移を容易にするために、潜在変数 (θ(j); j ≠ k) を導入する。
• 移動を隣接次元 (k−1, k, k+1) に制限するための離散的補助変数 u を使用し、遷移確率を計算可能にする。
• 固定された k に対して、標準的なギブスサンプリングと同様に、θ(k) を事後条件分布 πk(θ(k)|y, k) からサンプリングする。
• 次元のジャンプを可能にするために、p(θ(k+1)|θ(k)) および p(θ(k−1)|θ(k)) から θ(k+1) と θ(k−1) を条件付きで提案する。
• 連合密度から導かれる条件付き確率を用いて、次のモデルインデックス j をサンプリングし、p(u|k) を用いて移動方向を制御する。
• 条件付きサンプリングルール (1) および (2) を用いて P(j|u, y, θ, k) を計算し、共通の潜在変数を相殺する。

実験結果

リサーチクエスチョン

• RQ1 ヤコビアン補正を必要としないギブスサンプラーを、次元を越える移動を可能にするように設計できるか？
• RQ2 ギブスフレームワーク下で、次元ジャンプの提案を計算的に実行可能かつ正当なものにできるか？
• RQ3 次元を越えるMCMCにおいて、詳細釣合条件の要請を排除しつつ、正しい事後分布サンプリングを維持できるか？
• RQ4 可逆ジャンプMCMCの複雑なアルゴリズム的説明を避ける、より単純で直感的な代替手法を構築できるか？

主な発見

• 提案手法は、可逆ジャンプMCMCにおける主要な技術的障壁であるヤコビアン補正の必要性を回避する。
• アルゴリズムは自明で実装が容易であり、複雑な提案メカニズムの正当化を要しない。
• 補助潜在変数に条件づけることで、次元ジャンプを容易にする。これにより正当な事後分布推定が維持される。
• 逆提案条件 (3) が成り立つ場合、遷移確率はパrameterの遷移密度を含まず、尤度と事前分布のみに依存するよう簡略化される。
• 詳細釣合条件を強制する必要性がなくなり、有効な移動の設計が単純化される。
• 本手法は、可逆ジャンプMCMCの有効で概念的に単純な代替手法であることが示され、一様に劣っていると予想される明確な理由はない。