[論文レビュー] Likelihood-free Markov chain Monte Carlo

Scott A. Sisson, Yanan Fan|arXiv (Cornell University)|Jan 13, 2010

Markov Chains and Monte Carlo Methods参考文献 31被引用数 84

ひとこと要約

本稿では、尤度関数が解析的に求められないか、計算的に費用がかかるモデルにおけるベイズ推論のための尤度フリー・マルコフ連鎖モンテカルロ法（LF-MCMC）を提示する。尤度の明示的評価を、シミュレートされたデータとの比較による近似事後分布のシミュレーションに置き換えることで、MCMCを用いた効率的な事後分布サンプリングが可能となり、カーネル加重付き要約統計量と適応的帯域幅を用いて、モデル適合と誤差評価において成功が示された。

ABSTRACT

To appear to MCMC handbook, S. P. Brooks, A. Gelman, G. Jones and X.-L. Meng (eds), Chapman & Hall.

研究の動機と目的

• 尤度関数が解析的に求められないか、計算的に高価な評価を要するモデルにおけるベイズ推論の課題に対処すること。
• シミュレートされたデータと要約統計量に依存することで、明示的な尤度評価を回避するMCMCベースの手法を開発すること。
• 適応的カーネル加重と補助変数モデルを用いて、尤度フリー推論におけるサンプリング効率と事後分布近似の精度を向上させること。
• 事後予測チェックと周辺尤度近似を用いて、尤度フリー設定におけるモデル比較と誤差評価の実用的フレームワークを提供すること。

提案手法

• モデルから生成されたシミュレートデータ $x$ を用いた拡張事後分布モデル $\pi_{LF}(\theta, x|y) \propto \pi(y|x,\theta)\pi(x|\theta)\pi(\theta)$ を導入する。
• カーネル関数 $K$ を用いて、シミュレートされた要約統計量 $T(x)$ と観測された要約統計量 $T(y)$ の類似度に基づき、事後分布を重みづけする。適応的帯域 $\epsilon_r$ を用いる。
• 現在の状態と $T(x)$ と $T(y)$ のカーネル加重距離に依存する提案分布を用いて、近似事後分布 $\pi_{LF}(\theta|y)$ からのサンプリングにメトロポリス・ハスティングス法を適用する。
• 誤差モデリングとして $\tau_r = T_r(x) - T_r(y)$ を用い、モデル適合の評価と誤りの検出にラプラス事前分布 $\pi(\tau_r) = \exp(-|\tau_r|/\delta_r)/(2\delta_r)$ を導入する。
• 50個のシミュレートデータセットにおいて $T_r(x^s) - T_r(y)$ の四分位範囲の2倍で決定される帯域を持つバイウェイト（四次）カーネルを用いる。
• 事後推論には50,000回のMCMC反復を実行し、$\pi_{LF}(\theta|y)$ の推定と誤差 $\tau$ の周辺事後分布の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 尤度関数が求められない状況において、MCMCサンプリングをどのように適合させればベイズ推論が可能になるか？
• RQ2 カーネル帯域幅の選択と要約統計量の選択が、尤度フリー推論における近似事後分布の精度に与える影響は何か？
• RQ3 尤度フリー設定において、事後予測誤差分布を用いてモデルの誤り指定をどのように検出し、定量的評価できるか？
• RQ4 複雑なモデルにおいて、MCMCベースのLF手法と、リジェクションサンプリングや逐次モンテカルロ法との相対的効率はいかがなるか？
• RQ5 尤度フリー近似は、周辺尤度に基づくモデル比較にどのように影響を及えるか？

主な発見

• ガンマ分布モデルは、連合事後誤差分布 $\tau|y$ が原点を中心に分布しており、50%の最高密度領域が $\tau_1|y \sim [-0.51, 0.53]$ および $\tau_2|y \sim [-0.44, 0.22]$ であったことから、観測データにより良い適合を示した。
• 指数分布モデルは、誤り指定の兆候を示しており、連合事後誤差分布 $\tau|y$ がゼロベクトルに完全に集中していなかった。周辺50%領域は $\tau_1|y \sim [-0.32, 1.35]$ および $\tau_2|y \sim [-0.55, 0.27]$ であった。
• 四分位範囲に基づく適応的帯域幅の使用は、LF-MCMCアルゴリズムにおけるカーネルベース近似のロバスト性と効率性を向上させた。
• シミュレーションに基づく尤度の置換により、真の事後分布 $\pi(\theta|y)$ が効果的に近似された。50,000回のMCMC反復を通じて収束が確認された。
• 誤差分布 $\tau_r$ を用いた事後予測チェックは、尤度フリー推論におけるモデル適合評価の定量的診断ツールを提供した。
• 逐次モンテカルロ法や回帰ベース手法は、標準的MCMCよりも効率性の向上が見込まれるが、性能最適化のためのさらなる研究が今後必要である。