[論文レビュー] Measuring the non-asymptotic convergence of sequential Monte Carlo samplers using probabilistic programming

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|Dec 7, 2016

Bayesian Methods and Mixture Models参考文献 8被引用数 3

ひとこと要約

本稿では、逐次モンテカルロ（SMC）サンプラーの出力とそのターゲット事後分布の間の対称KLダイバージェンスの上界を推定するため、確率的プログラミングに基づくメタ推論手法を提案する。SMCアルゴリズムの実行履歴を生成するメタサンプラーを構築することで、非漸近的収束解析が可能となり、不偏モンテカルロ推定量を用いる。そのtightness（きつさ）は、メタ推論分布の精度に依存する。

ABSTRACT

A key limitation of sampling algorithms for approximate inference is that it is difficult to quantify their approximation error. Widely used sampling schemes, such as sequential importance sampling with resampling and Metropolis-Hastings, produce output samples drawn from a distribution that may be far from the target posterior distribution. This paper shows how to upper-bound the symmetric KL divergence between the output distribution of a broad class of sequential Monte Carlo (SMC) samplers and their target posterior distributions, subject to assumptions about the accuracy of a separate gold-standard sampler. The proposed method applies to samplers that combine multiple particles, multinomial resampling, and rejuvenation kernels. The experiments show the technique being used to estimate bounds on the divergence of SMC samplers for posterior inference in a Bayesian linear regression model and a Dirichlet process mixture model.

研究の動機と目的

• 逐次モンテカルロ（SMC）サンプラーが真の事後分布から大きく逸脱した出力を生成する場合に、その近似誤差を定量化する課題に対処すること。
• 単一粒子やアニーリングベースの手法に限らない、広範なクラスのSMCサンプラーにまで拡張可能な、対称KLダイバージェンスの上界を求める既存手法の拡張。
• 確率的プログラミングフレームワークを用いて、実用的で非漸近的なSMCサンプラーの収束評価を可能にすること。
• 出力に条件付けられた補助変数の条件付き分布を近似する高精度なメタ推論サンプラーを活用することで、ダイバージェンスの上界のtightness（きつさ）を向上させること。

提案手法

• 出力 $ z $ が与えられたもとで、SMCサンプラーの実行履歴 $ u $（補助変数）を生成するメタ推論サンプラー $ q(u;z) $ を構築し、$ p(u,z) $ と $ q(u;z) $ からの同時サンプリングを可能にする。
• 式 (2) に示される推定量を用いて、拡張された空間上での不偏モンテカルロ推定量による対称KLダイバージェンスの推定を行う。この推定量は、未正規化事後分布と結合サンプラー密度の対数オッズ比を比較する。
• AIS や SIR に既存のメタ推論構成を一般化し、マルチノミアルリサンプリング、複数粒子、MCMCリジュベネーションカーネルを有する一般的なSMCサンプラーを扱えるようにする。
• 重み計算を変更せずに、詳細釣合せカーネルのサイクルをSMCアルゴリズムに組み込むため、それらを単一ステップに統合し、対数重みの式を保存する。
• 確率的プログラミングを活用して、結合確率 $ p(u,z) $ と提案分布 $ q(u;z) $ を自動的に導出可能とし、ダイバージェンス上界のエンドツーエンド推定を可能にする。
• ベイジアン線形回帰やディリクレ過程混合モデルを含む実世界のモデルに本手法を適用し、上界の実証的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 本手法は、サンプラーとゴールスタンダード事後分布サンプラーへのアクセスのみを前提として、一般のSMCサンプラー出力とそのターゲット事後分布の間の対称KLダイバージェンスの上界を推定可能か？
• RQ2 メタ推論分布 $ q(u;z) $ の精度が、ダイバージェンス上界のtightness（きつさ）にどのように影響するか？
• RQ3 本手法は、MCMCリジュベネーションカーネルと複数粒子を用いるSMCサンプラーにも適用可能か？（単一粒子やアニーリングベースの手法に限らないか？）
• RQ4 個々のカーネルが詳細釣合せを満たさないサイクルを含むSMCアルゴリズムに対しても、本手法は有効に保たれるか？
• RQ5 本手法は、確率的プログラミングプラットフォームに統合可能か？ これにより、自動的な収束診断が可能になるか？

主な発見

• 本手法は、サンプラーとゴールスタンダード事後分布サンプラーへのアクセスのみを前提として、SMCサンプラー出力と真の事後分布の間の対称KLダイバージェンスに対する非漸近的上界を提供する。
• 上界は、事後分布 $ \pi(z) $、SMCサンプラー $ p(u,z) $、およびメタ推論分布 $ q(u;z) $ からのサンプリングを必要とする不偏モンテカルロ推定量により推定される。
• 上界のtightness（きつさ）は、$ q(u;z) $ が真の条件付き分布 $ p(u|z) $ をどれだけよく近似しているかに直接依存し、より良い近似がよりタイトな上界をもたらす。
• 本手法は、AIS や SIR に対する先行研究を、複数粒子とMCMCリジュベネーションを有する完全なSMCサンプラーに一般化し、実世界のモデルへの適用可能性を拡大した。
• 逆方向のサイクルをメタ推論で使用することで、詳細釣合せカーネルのサイクルが含まれる場合でも、重みの式が保存され、本手法の有効性が保たれる。
• ベイジアン線形回帰とディリクレ過程混合モデルに対する実験的評価により、本手法の実用性と有効性が実世界の推論設定で確認された。