[論文レビュー] An invitation to sequential Monte Carlo samplers

Chenguang Dai, Jeremy Heng+2 more|arXiv (Cornell University)|Jul 23, 2020

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

本稿は、複雑な事後分布およびその正規化定数を近似するためのMCMCや重要度サンプリングの代替手段として、順序付きモンテカルロサンプリング（SMCS）を導入する。順序付き重要度サンプリングと中間分布に沿ったマルコフ連鎖移動を組み合わせることで、SMCSは並列計算を可能とし、多次元で多峰性を持つターゲットの効率的探索と、周辺尤度の不偏推定を実現する。

ABSTRACT

Statisticians often use Monte Carlo methods to approximate probability distributions, primarily with Markov chain Monte Carlo and importance sampling. Sequential Monte Carlo samplers are a class of algorithms that combine both techniques to approximate distributions of interest and their normalizing constants. These samplers originate from particle filtering for state space models and have become general and scalable sampling techniques. This article describes sequential Monte Carlo samplers and their possible implementations, arguing that they remain under-used in statistics, despite their ability to perform sequential inference and to leverage parallel processing resources among other potential benefits.

研究の動機と目的

• 高次元、多峰性、または複雑なターゲット分布におけるMCMCおよび重要度サンプリングの限界を克服すること。
• 重要度サンプリングとMCMCを順序構造内で統合する包括的なフレームワークを提供し、サンプリング効率とスケーラビリティを向上させること。
• 正規化定数の推定と順序付き推論のサポートを可能とし、ベイズモデル比較や動的状態推定において不可欠な要素を提供すること。
• 並列計算、適応性、困難な事後分布に対するロバスト性の観点からSMCSの利点を強調し、統計分野における採用を促進すること。
• 疫学的モデリングや階層ベイズ推論を含む実世界の例を通じて、SMCSの実用的有用性を示すこと。

提案手法

• 単純な初期分布からターゲット事後分布へつながる中間分布の系列を構築し、分布の経路を形成する。
• リサンプリングを伴う順序付き重要度サンプリングを用いて、粒子を経路全体で伝搬させ、進化するターゲット分布の重み付き表現を維持する。
• 各ステップでマルコフ連鎖移動を組み込み、特に多次元または多峰性領域において粒子の混合を改善する。
• 経路に沿った周辺尤度の積を用いてターゲット分布の正規化定数を推定し、モデル証拠の計算を可能にする。
• 複数の独立したSMCSチェーンを実行するか、プロセッサ間で粒子更新を分散させることで並列計算を活用する。
• 経路の分布や提案核のチューニングを適応戦略で行い、収束性の向上と劣化の低減を図る。

実験結果

リサーチクエスチョン

• RQ1 順序付きモンテカルロサンプリング（SMCS）は、高次元および多峰性を持つ事後分布において、MCMCや重要度サンプリングの限界をどのように克服できるか？
• RQ2 SMCSはどの程度正規化定数の不偏推定を提供できるか？ これはベイズモデル比較にどのように寄与するか？
• RQ3 従来のMCMC手法と比較して、SMCSは並列処理と順序付き推論をどの程度効率的にサポートできるか？
• RQ4 SMCSの導入に際して直面する実用的課題は何か？ また、適応的設計とソフトウェア支援によってそれらをどのように軽減できるか？
• RQ5 状態空間モデルにおけるパrameter推定や疫学的モデリングといった実世界の統計的問題において、SMCSはどのように性能を発揮するか？

主な発見

• SMCSは正規化定数の不偏推定器を提供する。これはベイズモデル証拠とモデル比較において極めて重要である。
• 中間分布とMCMCによる粒子の再生ステップを活用することで、複雑で多峰性を持つ事後分布からの効率的サンプリングが可能になる。
• SMCSは並列処理に非常に適しており、複数のプロセッサやマシンを活用したスケーラブルな計算が可能である。
• 実証的結果から、SMCSは疫病モデルにおける初期感染時刻 $ t_0 $ の周辺尤度を推定でき、$ t_0 = 0.5 $ でピークを示しており、この値が強く支持されていることが示された。
• Stanにおける部分事後分布を用いた適応的SMCSは、階層モデルにおける正確で効率的な事後分布推定を可能にした。
• これらの利点にもかかわらず、チューニングの複雑さとMCMCツール（例：Stan）に比べて限られたソフトウェアエコシステムのため、SMCSは依然としてあまり使われていない。