[論文レビュー] Using deterministic approximations to accelerate SMC for posterior sampling

Sophie Donnet, Stéphane Robin|arXiv (Cornell University)|Jul 25, 2017

Bayesian Methods and Mixture Models参考文献 2被引用数 3

ひとこと要約

本稿では、事前分布ではなく、変分ベイズ（VB）などの決定的後方近似から初期化することで、後方分布のサンプリングを高速化する新しい順序モンテカルロ（SMC）手法、Shortened Bridge Sampler（SBS）を提案する。SBSは、近似後方分布と真の後方分布の間で適応的にブリッジ列を構築することで、変分近似における分散の過小評価を是正し、より正確な後方分散と改善された統計的推論を実現する。ネットワークモデルにおける実験では、SBSがVBよりも高い不確実性を明らかにした。

ABSTRACT

Sequential Monte Carlo has become a standard tool for Bayesian Inference of complex models. This approach can be computationally demanding, especially when initialized from the prior distribution. On the other hand, deter-ministic approximations of the posterior distribution are often available with no theoretical guaranties. We propose a bridge sampling scheme starting from such a deterministic approximation of the posterior distribution and targeting the true one. The resulting Shortened Bridge Sampler (SBS) relies on a sequence of distributions that is determined in an adaptive way. We illustrate the robustness and the efficiency of the methodology on a large simulation study. When applied to network datasets, SBS inference leads to different statistical conclusions from the one supplied by the standard variational Bayes approximation.

研究の動機と目的

• 高次元または多重モードの後方分布において、事前分布から初期化する標準的SMC手法の計算負荷を軽減すること。
• 変分ベイズ（VB）近似による後方分散のよく知られた過小評価を是正すること。これは誤った推論を引き起こす可能性がある。
• 決定的近似を出発点として用いることで、収束を高速化しつつ精度を損なわない、強固で適応的なSMCフレームワークを開発すること。
• 完全な後方分布の探索が計算的に不可能な複雑なベイズモデルに対して、実用的で効率的なMCMCおよび標準的SMCの代替手段を提供すること。

提案手法

• 真の後方分布への移行を、決定的後方近似から始めるブリッジサンプリング方式を提案。
• SMCプロセス中に動的に調整される $ \rho_h $ を用いて、$ \widetilde{p}_{\boldsymbol{Y}}^{1-\rho_h}(p(\theta|\boldsymbol{Y}))^{\rho_h} $ の形をとる適応的分布列を構築。
• 再重み付けを伴う逐次重要度サンプリングを用い、近似後方分布から真の後方分布へと粒子を伝搬。最終的なサンプルが正確な後方分布から抽出されることを保証。
• 初期近似の品質に基づくパス探索戦略を採用。$ \rho_h $ の値を探索と効率性のバランスを取るように選択。
• SMCアルゴリズムを変更し、$ \rho_h $ の値の列を自動的に決定可能にすることで、ユーザーによるチューニングを低減し、耐障害性を向上。
• 決定的近似を事前分布ではなく提案分布として扱うことで、経験的ベイズの落とし穴を回避し、無視されたパrameter依存性などの構造的誤指定の是正を可能にする。

実験結果

リサーチクエスチョン

• RQ1 決定的後方近似を用いることで、最終的な後方分布サンプルの正確性を損なわずにSMCサンプリングを高速化できるか？
• RQ2 SBS手法は、変分ベイズ近似でよく見られる後方分散の過小評価をどのように是正するか？
• RQ3 初期の決定的近似で無視されたパrameter依存性は、SBS手法によってどの程度回復されるか？
• RQ4 複雑なモデルにおいて、SBSの計算効率と統計的正確性は、標準的SMCおよび変分ベイズと比べてどの程度優れているか？
• RQ5 適応的温度パラメータ $ \rho_h $ の列を、収束性と耐障害性を保証する形でリアルタイムに信頼性を持って決定できるか？

主な発見

• Treeネットワークデータセットにおいて、SBSの後方標準偏差はVBのほぼ2倍にまで上昇し、分散の過小評価が顕著に是正された。
• 遺伝的距離を表す回帰係数 $ \beta_1 $ について、後方標準偏差はVBの1.5e-05からSBSの3.31e-05に増加し、有意性比は3.09から1.25に低下した。
• Tree例では、地理的距離を表す $ \beta_2 $ の後方標準偏差がVBの0.208からSBSの0.47に上昇し、有意性比は1.11から0.755に低下した。
• 1クラスのSBM-regモデルにおいて、婚姻、事業などほとんどのケースでVBとSBSの後方確率はほぼ同一であったが、KarateやTreeのような不確実性の高いケースでは著しく乖離した。
• Treeモデルでは、SBSが後方確率を $ 1.06 \times 10^{-161} $ と推定した一方、VBは $ 4.83 \times 10^{-153} $ を与えた。SBSは残留構造を検出する際により慎重であることが示された。
• SBSアルゴリズムは、初期VB近似で無視されたパrameter依存性を成功裏に回復した。これは、後方分散の増加と有意性レベルの変化によって裏付けられた。