[論文レビュー] Projecting Markov Random Field Parameters for Fast Mixing

Xianghang Liu, Justin Domke|arXiv (Cornell University)|Nov 5, 2014

Bayesian Methods and Mixture Models参考文献 14被引用数 3

ひとこと要約

本稿では、マーカフ・ランダムフィールド（MRFs）におけるユニバリアート・ギブスサンプリングの高速混合を保証する十分条件を提案するとともに、高速混合パラメータ集合への効率的なユークリッド射影アルゴリズムを提示する。この手法により、MCMCサンプリングの収束が速くなり、特に$∞$-ノルム射影を用いることで効率が向上する。標準的なギブスサンプリングや変分法に比べ、精度を高めつつ計算時間を短縮する。

ABSTRACT

Markov chain Monte Carlo (MCMC) algorithms are simple and extremely powerful techniques to sample from almost arbitrary distributions. The flaw in practice is that it can take a large and/or unknown amount of time to converge to the stationary distribution. This paper gives sufficient conditions to guarantee that univariate Gibbs sampling on Markov Random Fields (MRFs) will be fast mixing, in a precise sense. Further, an algorithm is given to project onto this set of fast-mixing parameters in the Euclidean norm. Following recent work, we give an example use of this to project in various divergence measures, comparing univariate marginals obtained by sampling after projection to common variational methods and Gibbs sampling on the original parameters.

研究の動機と目的

• 一般のMRFsにおけるユニバリアット・ギブスサンプリングが高速混合を達成するための十分条件を同定すること。
• ユークリッドノルムにおける高速混合パラメータ集合へのMRFパラメータの効率的射影アルゴリズムの開発。
• 標準的なギブスサンプリングおよび変分推論と比較して、射影されたパラメータがサンプリングの精度と収束速度をどのように向上させるかを評価すること。
• スペクトルノルムに基づく射影の計算コストの高い代替手段として、他の行列ノルム（例：$∞$-ノルム）の有効性を検討すること。
• 画像ノイズ除去やグリッドモデルにおける応用を通じて、実用的有用性を示し、時間と精度のトレードオフの改善を示すこと。

提案手法

• MRF相互作用強度から導かれる行列の$∞$-ノルムに基づき、ユニバリアット・ギブスサンプリングにおける高速混合の十分条件を導出する。
• 任意のMRFパラメータを高速混合パラメータ集合に射影するためのユークリッド射影アルゴリズムを提案し、迅速な混合を保証する。
• 真の分布と射影された分布の間の発散（例：逆KL）を最小化するために、勾配降下法を用い、サンプル品質を向上させる。
• 計算コストを低減するため、スペクトルノルムに代えて$∞$-ノルムを、より緩いが計算的に効率的な代替手段として採用する。
• イジングモデルおよびポッツモデルにおけるサンプリングを通じて、マージナル誤差と収束速度を比較して手法を検証する。
• バイナリ画像ノイズ除去にフレームワークを適用し、評価の基準としてスウェンセン＝ワング法のサンプルを真値として用いる。

実験結果

リサーチクエスチョン

• RQ1 一般のMRFsにおけるユニバリアット・ギブスサンプリングの高速混合を保証する十分条件を導出可能か？
• RQ2 ユークリッドノルムにおける高速混合パラメータ集合へのMRFパラメータの射影は、どの程度効率的に可能か？
• RQ3 高速混合を保証するようにパラメータを射影することで、標準的なギブスサンプリングに比べて、より高いサンプリング精度とより速い収束が達成されるか？
• RQ4 $∞$-ノルム射影は、スペクトルノルム射影と比較して、計算コストと精度の面でどのように異なるか？
• RQ5 このフレームワークは、画像ノイズ除去のような実世界の応用において、推論性能の向上をもたらすか？

主な発見

• $∞$-ノルム射影法は、標準的なギブスサンプリングよりも収束が速く、16×16グリッドにおいて10,000サンプルでマージナル誤差が0.02未満に低下した。
• $d_e = 1.5$の場合、$∞$-ノルム射影法は10^6ステップで1.50秒を要したが、スペクトルノルム射影では25.63秒を要した。
• 16×16グリッドで$d_e = 3.0$の場合、$∞$-ノルム射影により10^6ステップの処理時間を、スペクトルノルムの164.34秒から3.26秒にまで短縮した。
• 画像ノイズ除去の応用では、射影されたパラメータにより10^4サンプル未満で低マージナル誤差に収束したが、元のギブスサンプリングでは依然として遅かった。
• 射影されたパラメータを用いた逆KL発散最小化により、変分法と同等の精度が達成され、$∞$-ノルム射影を用いた10^6ステップで13.13秒の実行時間であった。
• 理論的境界値$c=1$よりも大きい制約$c=2.5$を用いることで性能が向上したため、理論的境界が緩く、実用的余裕があることが示された。