[論文レビュー] Playing Russian Roulette with Intractable Likelihoods

Mark Girolami, Anne-Marie Lyne+3 more|arXiv (Cornell University)|Jun 17, 2013

Markov Chains and Monte Carlo Methods被引用数 16

ひとこと要約

本論文は、マクローリン展開または幾何級数展開の無限級数展開をランダムローレットサンプリングにより確率的に行うことで、不確実な尤度に対する不偏推定を得る、新しい正確-近似MCMC手法を提案する。チェーン内で符号付き測度を生じるが、量子色力学にインspiredされた技術により正しい期待値を保持する。これにより、細かいメッシュ上のガウスマルコフランダムフィールドのような大規模モデルに対しても正確なベイズ推論が可能となり、オゾン層データで実証された。

ABSTRACT

A general scheme to exploit Exact-Approximate MCMC methodology for intractable likelihoods is suggested. By representing the intractable likelihood as an infinite Maclaurin or Geometric series expansion, unbiased estimates of the likelihood can be obtained by finite time stochastic truncations of the series via Russian Roulette sampling. Whilst the estimates of the intractable likelihood are unbiased, for unbounded unnormalised densities they induce a signed measure in the Exact-Approximate Markov chain Monte Carlo procedure which will introduce bias in the invariant distribution of the chain. By exploiting results from the Quantum Chromodynamics literature the signed measures can be employed in an Exact-Approximate sampling scheme in such a way that expectations with respect to the desired target distribution are preserved. This provides a general methodology to construct Exact-Approximate sampling schemes for a wide range of models and the methodology is demonstrated on well known examples such as posterior inference of coupling parameters in Ising models and defining the posterior for Fisher-Bingham distributions defined on the d-Sphere. A large scale example is provided for a Gaussian Markov Random Field model, with fine scale mesh refinement, describing the Ozone Column data. To our knowledge this is the first time that fully Bayesian inference over a model of this size has been feasible without the need to resort to any approximations. Finally a critical assessment of the strengths and weaknesses of the methodology is provided with pointers to ongoing research 1. 1

研究の動機と目的

• 尤度の正規化定数が不確実なために正確なベイズ推論が困難な状況に対処する。
• 非有界な未規格化密度をもつモデルに対して、不偏尤度推定器を構築する一般枠組みを開発する。
• 不偏尤度推定を用いた正確-近似MCMCで生じる符号付き測度がもたらすバイアスを克服する。
• 細かいメッシュ離散化を伴うガウスマルコフランダムフィールドのような高次元モデルに対して、スケーラブルかつ正確な事後分布推論を可能にする。
• 代表的なモデル（d次元球面上のイジング分布およびフィッシャー＝ビンガム分布）と大規模なオゾン層モデルに対して、本手法を実証する。

提案手法

• 不確実な尤度を無限級数展開（マクローリン展開または幾何級数展開）として表現する。
• ロシアルーレットサンプリングを用いて、有限時間内で級数を確率的に切断し、不偏尤度推定を得る。
• 非有界な未規格化密度がマルコフ連鎖に生じる符号付き測度を処理するために、量子色力学の結果を応用する。
• 符号付き測度が生じるにもかかわらず、正しい不変分布を保持する正確-近似MCMCアルゴリズムを構築する。
• 不偏尤度推定器をメトロポリス・ハスティングスフレームワークに統合し、目的の事後分布からのサンプリングを実現する。
• 尤度が不確実な既知の事後分布をもつモデル（イジングモデルやd次元球面上のフィッシャー＝ビンガム分布）に対して、本手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 無限級数の確率的切断による不偏尤度推定は、不確実尤度をもつモデルにおける正確なベイズ推論を可能にするか？
• RQ2 非有界な未規格化密度がもたらす符号付き測度は、正確-近似MCMCでどのように管理され、期待値の正しさが保たれるか？
• RQ3 本手法は、細かい離散化を伴う高次元モデル（例えば、大規模メッシュ上のガウスマルコフランダムフィールド）にどの程度スケーラブルに適用可能か？
• RQ4 オゾン層モデルのような大規模な実世界の応用において、近似を一切用いずに正確な推論が達成可能か？
• RQ5 既存の近似推論手法と比較して、本手法の実用的限界と計算的トレードオフは何か？

主な発見

• 本手法は、無限級数の確率的切断により不偏尤度推定を構築することで、不確実尤度をもつモデルにおける正確なベイズ推論を可能にする。
• マルコフ連鎖内で符号付き測度を生じるが、量子色力学にインspiredされた技術を活用することで、目的分布下での正しい期待値が保持される。
• 本手法は、イジングモデルおよびd次元球面上のフィッシャー＝ビンガム分布における事後分布推論に成功し、広範な適用可能性を示した。
• 本手法により、細かいメッシュの細分化を伴う大規模なオゾン層データのガウスマルコフランダムフィールドモデルに対し、近似を一切用いずに完全なベイズ推論が可能となった（初の例）。
• 本手法は、このような大規模モデルに対して正確な推論を達成しており、類似の大きなモデルでは近似を要する既存手法を上回る性能を示した。
• 厳密な評価により、スケーラビリティと正確性の長所が明らかになった一方で、計算コストと切断スキームのチューニングの難しさが指摘された。