[論文レビュー] Graphical model inference: Sequential Monte Carlo meets deterministic approximations

Fredrik Lindsten, Jouni Helske+1 more|arXiv (Cornell University)|Jan 8, 2019

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿では、確率的グラフィカルモデルにおける逐次モンテカルロ（SMC）アルゴリズムの新規提案を行う。この手法は、繰り返し信念伝播（LBP）、期待値伝播（EP）、ラプラス近似などの決定的推論手法をSMCに統合し、それらの手法が持つ固有のバイアスを是正する。これらの手法を用いて効率的なねじれ関数（twisting functions）を構築することで、SMCの漸近的一致性および不偏な正規化定数推定を保ちつつ、ベースラインの決定的手法や標準的なSMCよりも顕著な性能向上を達成する。

ABSTRACT

Approximate inference in probabilistic graphical models (PGMs) can be grouped into deterministic methods and Monte-Carlo-based methods. The former can often provide accurate and rapid inferences, but are typically associated with biases that are hard to quantify. The latter enjoy asymptotic consistency, but can suffer from high computational costs. In this paper we present a way of bridging the gap between deterministic and stochastic inference. Specifically, we suggest an efficient sequential Monte Carlo (SMC) algorithm for PGMs which can leverage the output from deterministic inference methods. While generally applicable, we show explicitly how this can be done with loopy belief propagation, expectation propagation, and Laplace approximations. The resulting algorithm can be viewed as a post-correction of the biases associated with these methods and, indeed, numerical results show clear improvements over the baseline deterministic methods as well as over "plain" SMC.

研究の動機と目的

• 確率的グラフィカルモデルにおける決定的推論とモンテカルロ推論のギャップを埋めること。
• 決定的近似をねじれ関数として活用することで、SMC推論の効率性と精度を向上させること。
• 正確な推論を犠牲にせずに、決定的手法のバイアスを後処理で是正できること。
• 連続的で非ガウス分布、および複雑なグラフィカルモデルに一般化可能なフレームワークを提供すること。
• 疑似マルチプレル MCMC やパーティクル MCMC などの高度な推論パイプラインとの統合を可能にすること。

提案手法

• SMCのための逐次的グラフ分解を用いて、人工的なターゲット分布の系列を導入する。
• 将来の変数に依存するように、SMCのターゲットにねじれ関数を導入することで、提案分布の品質を向上させる。
• ねじれ関数は、ラプラス近似、期待値伝播、繰り返し信念伝播の出力を用いて構築される。
• ねじれ関数は最適ではないが、正確な推論を必要としないため、効率的である。
• 正確なねじれ関数を使用しても、不偏な正規化定数推定と漸近的一貫性を保持する。
• 既存の決定的推論ツールを再利用可能なブロックとして用いることで、より高精度なSMC推論を実現できるフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 決定的推論手法を、グラフィカルモデルにおけるSMCの効率性向上に効果的に再利用できるか？
• RQ2 正確な推論を必要とせずに、効率的なねじれ関数を構築する方法は何か？
• RQ3 決定的近似とSMCを組み合わせることで、単独の手法よりも高い精度と収束速度が得られるか？
• RQ4 正確なねじれ関数を用いたSMCによって、決定的手法のバイアスをどの程度是正できるか？
• RQ5 得られたアルゴリズムは、疑似マルチプレル MCMC などの他の推論スキームのプラグイン後処理として利用可能か？

主な発見

• 決定的推論に基づくねじれ関数を用いた提案されたSMCアルゴリズムは、標準的なSMCおよびベースラインの決定的手法に比べ、精度と収束速度の両面で顕著に優れている。
• 数値実験の結果、繰り返し信念伝播、期待値伝播、ラプラス近似単体よりも明確な改善が確認された。
• 不偏な正規化定数推定を維持しており、正確なねじれ関数を使用しても理論的信頼性が保たれている。
• 決定的手法の出力から導出されたねじれ関数は、SMCにおける有効サンプルサイズの損失を顕著に低減し、サンプリング効率を向上させた。
• フレームワークは頑健で汎用的であり、既存の推論ツールや高度なMCMCスキームとの統合が可能である。