[論文レビュー] Markov Chain Truncation for Doubly-Intractable Inference

Colin Wei, Iain Murray|arXiv (Cornell University)|Oct 15, 2016

Bayesian Methods and Mixture Models被引用数 7

ひとこと要約

本稿では、二重に不確実な推論問題における正規化定数 $1/Z$ の不偏かつ有限期待値をもつ推定を実現する、新規のマルコフ連鎖に基づくデバイアス化アルゴリズム—FCE および RBBCE—を提案する。マルコフ連鎖の結合とロシアルーレットの切り捨てを活用することで、重要度サンプリングに基づく代替手法と比較して、より高い正の推定の割合と低い分散を達成し、イジングモデルや指数型ランダムグラフなどのモデルにおける擬似周辺化MCMCサンプリングの効率を向上させる。

ABSTRACT

Computing partition functions, the normalizing constants of probability distributions, is often hard. Variants of importance sampling give unbiased estimates of a normalizer Z, however, unbiased estimates of the reciprocal 1/Z are harder to obtain. Unbiased estimates of 1/Z allow Markov chain Monte Carlo sampling of "doubly-intractable" distributions, such as the parameter posterior for Markov Random Fields or Exponential Random Graphs. We demonstrate how to construct unbiased estimates for 1/Z given access to black-box importance sampling estimators for Z. We adapt recent work on random series truncation and Markov chain coupling, producing estimators with lower variance and a higher percentage of positive estimates than before. Our debiasing algorithms are simple to implement, and have some theoretical and empirical advantages over existing methods.

研究の動機と目的

• $Z$ の不確実な正規化定数の逆数 $1/Z$ を推定する課題に取り組むが、$Z$ の不偏推定値しか入手できない状況を想定する。
• 従来のデバイアス化手法の限界、たとえば高い分散や非正の推定値といった問題を克服し、二重に不確実なモデルにおける効率的なMCMCサンプリングを可能にする。
• 有限の期待値を保証し、擬似周辺化MCMCにおける実験的性能を向上させる、汎用的かつ実装可能な不偏 $1/Z$ 推定フレームワークを構築する。
• マルコフ連鎖に基づく推定器が、重要度サンプリングに基づく手法と比較して、後方分布サンプリングにおける正の推定率と自己相関の観点で優れていることを示す。

提案手法

• 重要度サンプリング推定器ではなく、マルコフ連鎖プロセスにロシアルーレットの切り捨てを適用し、不偏な $1/Z$ 推定を構築する。
• 期待値において $1/Z$ に収束する推定子 $Y^{(i)}$ の系列を用い、ランダムな停止時刻 $N$ によって切り捨てを制御する。
• 最終的な推定子を $S = Y^{(0)} + \sum_{i=1}^{N} \frac{Y^{(i)} - Y^{(i-1)}}{\Pr(N \geq i)}$ と定義し、積分可能性条件 (2) を満たせば不偏性が保証される。
• FCE（フォワード結合推定子）および RBBCE（ランダムバッチ化されたバッチ結合推定子）を導入し、結合されたマルコフ連鎖を用いて推定子の安定性と正の推定率を向上させる。
• 系列差分項の積分可能性を保証するように結合スキームを設計することで、推定子の有限期待値を確保する。
• 段階ごとに線形に増加するサンプル数をもつアニールド重要度サンプリング（AIS）を用いて $Y^{(i)}$ を構築し、指数的サンプル増加を回避し、スケーラブルな実装を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖に基づくデバイアス化手法は、理論的保証が得られる不偏かつ有限期待値の $1/Z$ 推定を生成できるか？
• RQ2 マルコフ連鎖に基づく推定器は、重要度サンプリングに基づく手法と比較して、より高い正の推定の割合を達成できるか？
• RQ3 提案手法によるマルコフ連鎖の結合は、非結合推定子と比較して、擬似周辺化MCMCにおける後方分布サンプルの自己相関を低減できるか？
• RQ4 提案フレームワークは、イジングモデルや指数型ランダムグラフのような多様なモデルにおいて、低分散かつ高い正の推定率を維持できるか？
• RQ5 本手法は、サンプル成長率のようなチューニング自由パラメータを必要とせず、最小限の計算オーバーヘッドで実装可能か？

主な発見

• イジングモデルでは、RBBCE推定子が100,000反復中99,924件の正の推定値を達成し、FCE（97,597）および IAE（96,538）を大きく上回った。
• 指数型ランダムグラフモデルでも、RBBCEは99,890件の正の推定値を生成し、FCE（98,680）および IAE（98,442）を上回り、正の推定率の向上が確認された。
• マルコフ連鎖に基づく推定器は、IAEと比較して低い経験的自己相関を示し、より速い混合と効率的な後方分布探索を示唆した。
• 理論的解析により、RBBCEはすべての状態空間において推定子の有限期待値を保証することが確認されたが、従来手法はサンプル成長率のチューニングを要した。
• 提案手法は汎用的であり、スライスサンプリングや適応的チューニングなどの既存の擬似周辺化MCMC技術と組み合わせて使用可能であり、追加の複雑さを伴わない。
• 実験により、高い正の推定率と低い自己相関が、後方推定値の低分散に直接的に結びつくことが示された。実務的文脈において、正の推定の利点が妥当であることが裏付けられた。