[論文レビュー] Noisy Monte Carlo: Convergence of Markov chains with approximate transition kernels

Pierre Alquier, Nial Friel+2 more|arXiv (Cornell University)|Mar 21, 2014

Markov Chains and Monte Carlo Methods参考文献 3被引用数 4

ひとこと要約

本稿は、近似遷移核を用いたマルコフ連鎖モンテカルロ（MCMC）アルゴリズムの収束を理論的に分析する枠組みを提案し、理想の連鎖とノイズのある連鎖の間の全 Variation 距離の上限を確立する。マルコフ連鎖の安定性理論を活用し、一様または幾何的エルゴード性の下で、ノイズのある連鎖が定量可能な誤差を伴いながらも目標分布に収束することを示す。空間統計およびネットワーク解析（ERGMs を含む）への応用を通じて検証されている。

ABSTRACT

Monte Carlo algorithms often aim to draw from a distribution $π$ by simulating a Markov chain with transition kernel $P$ such that $π$ is invariant under $P$. However, there are many situations for which it is impractical or impossible to draw from the transition kernel $P$. For instance, this is the case with massive datasets, where is it prohibitively expensive to calculate the likelihood and is also the case for intractable likelihood models arising from, for example, Gibbs random fields, such as those found in spatial statistics and network analysis. A natural approach in these cases is to replace $P$ by an approximation $\hat{P}$. Using theory from the stability of Markov chains we explore a variety of situations where it is possible to quantify how 'close' the chain given by the transition kernel $\hat{P}$ is to the chain given by $P$. We apply these results to several examples from spatial statistics and network analysis.

研究の動機と目的

• 正確な遷移核の計算が計算的に非現実的である場合に生じる尤度の不確実性の問題に対処すること。
• 遷移核が近似されるノイズのあるMCMCアルゴリズムの理論的基盤を構築すること。
• ノイズのある連鎖の不変分布と真の目標分布との間の距離を定量化すること。
• 一様エルゴード性の仮定にとらわれず、幾何的エルゴード性のケースにまで収束結果を拡張すること。
• 空間統計およびネットワーク解析分野の実世界問題（特に指数型ランダムグラフモデル（ERGMs）を含む）において、この枠組みを検証すること。

提案手法

• マルコフ連鎖のミトロファノフの安定性理論を用いて、理想の連鎖とノイズのある連鎖の間の全 Variation 距離を上限で評価する。
• 交換アルゴリズムおよび離散化されたランジュバン・モンテカルロのノイズあり版に理論を適用する。
• 反復回数 N の観点から収束速度を導出し、距離が N に従って減少することを示す。
• 尤度の不確実性を持つモデルでは、正確な評価の代わりに近似された尤度評価を用いる。
• MALA およびノイズのある MALA アルゴリズムの共分散行列のキャリブレーションにパイロットランを用いる。
• 事後平均、標準偏差、密度プロット、自己相関関数を用いて、アルゴリズム間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 近似遷移核を用いたMCMCアルゴリズムの収束を理論的にどのように定量化できるか？
• RQ2 ノイズのある連鎖の不変分布と真の目標分布との間の全 Variation 距離は何か？
• RQ3 ノイズのあるMCMC連鎖が依然として正しい目標分布に収束する条件は何か？
• RQ4 ランダム化ステップ数 N がノイズのある連鎖の精度にどのように影響するか？
• RQ5 ERGM のような尤度が不確実なモデルにおいて、理論的上限を実用的に検証できるか？

主な発見

• 理想の連鎖とノイズのある連鎖の間の全 Variation 距離は、反復回数 N に従って減少し、定量的な収束保証が得られる。
• ノイズのある交換アルゴリズムは、混合性と自己相関の低減の観点で、標準的な交換アルゴリズムを上回る性能を示す。
• ノイズのある MALA 交換アルゴリズムは、MALA 交換およびノイズのあるランジュバン法よりも、より優れた事後平均と標準偏差推定を達成する。
• ノイズのあるランジュバン法は、パラメータの標準偏差を低く評価し、モードの正確な推定に失敗する。
• 分子ネットワークの例では、ノイズのある MALA 交換が BERGM からの真の値に最も近い事後推定値を生成し、自己相関が低く、密度回復性能も優れていた。
• 理論的上限は、一様エルゴード性および幾何的エルゴード性の両方の下で成り立つため、制限的な仮定を超えて適用範囲を拡張できる。