[論文レビュー] Multilevel Sequential Monte Carlo Samplers for Normalizing Constants

Pierre Del Moral, Ajay Jasra+2 more|arXiv (Cornell University)|Mar 3, 2016

Probabilistic and Robust Engineering Design参考文献 25被引用数 10

ひとこと要約

本稿では、連続的モデルを含むベイesian逆問題における正規化定数の比を推定するための、多層式逐次モンテカルロ（SMC）サンプラーを提案する。SMCと畳み込み和表現、および新規のフェインマン＝カック分解を組み合わせることで、標準的なモンテカルロ法と比較して著しく低い計算コストで不偏推定を達成し、適切な正則性条件下で最適収束率を維持する。

ABSTRACT

This article considers the sequential Monte Carlo (SMC) approximation of ratios of normalizing constants associated to posterior distributions which in principle rely on continuum models. Therefore, the Monte Carlo estimation error and the discrete approximation error must be balanced. A multilevel strategy is utilized to substantially reduce the cost to obtain a given error level in the approximation as compared to standard estimators. Two estimators are considered and relative variance bounds are given. The theoretical results are numerically illustrated for the example of identifying a parametrized permeability in an elliptic equation given point-wise observations of the pressure.

研究の動機と目的

• 偏微分方程式（PDE）によって支配されるベイesian逆問題における正規化定数の比推定という課題に取り組む。
• 収束が遅く、離散化誤差を伴う標準モンテカルロ法の高い計算コストを克服する。
• モンテカルロ誤差と離散化誤差のバランスを取ることで、計算効率を向上させる多層式SMCフレームワークを開発する。
• 階層的モデル設定における正規化定数比の不偏推定と理論的分散バウンドを提供する。
• 点での圧力観測を伴うパラメトリック楕円型PDE逆問題において、手法の有効性を実証する。

提案手法

• 多層式モンテカルロフレームワークを逐次モンテカルロに適応させ、各レベル間で結合された粒子系を構築する。
• フェインマン＝カック公式の新規な分解を用いて、正規化定数比 $ Z_L / Z_0 $ の畳み込み和表現を構築する。
• 祖先の履歴と重み付き粒子系を活用する新しい不偏推定器をSMCフレームワークに基づき導入する。
• 再サンプリングと伝搬ステップを用いた重要度サンプリングを適用し、各レベル間での粒子の多様性を維持する。
• 粒子の経験測度に対するマルティングル・差分とモーメント不等式を用いて、理論的分散バウンドを導出する。
• 与えられた平均二乗誤差に対して総コストを最小化するように、各レベルの粒子数 $ N_l $ を割り当てる。

実験結果

リサーチクエスチョン

• RQ1 多層式SMCは、PDE制約付きのベイesian逆問題における正規化定数比推定の計算コストを低減できるか？
• RQ2 提案された多層式SMC推定器の分散は、離散化レベルおよび粒子数に対してどのようにスケーリングされるか？
• RQ3 SMCにおける畳み込み和アプローチは、最細粒度レベルからの独立同一分布（i.i.d.）サンプリングと比較して、より高い効率性を示すか？
• RQ4 一般の正則性条件下で、新しい推定器のバイアスおよび分散に対してどのような理論的保証を確立できるか？
• RQ5 ノイズを含む楕円型PDEを伴う現実的な逆問題において、この手法は数値的にどのように性能を発揮するか？

主な発見

• 提案された多層式SMC推定器は、総計算コストが $ O(N^{-1}) $ である一方で、平均二乗誤差が $ O(N^{-1/2}) $ に達し、標準モンテカルロ法の最適レートを達成するが、定数要因を著しく低減する。
• 理論的分散バウンドから、推定器の分散が $ O(\sum_{l=2}^L \frac{l}{N_{l-2}} \|G_{l-1} - 1\|_\infty^2) $ に比例することが示され、レベルおよび粒子数に有利にスケーリングされることを示す。
• 新規のフェインマン＝カック分解により、各レベルにおけるマルティングル差分の和として $ Z_L / Z_0 $ を不偏に推定可能となる。
• 数値実験により、多層式SMCアプローチが $ \eta_L $ からの標準的i.i.d.サンプリングと比較して、計算コストを桁違いに低減することが確認された。
• PDEの離散化に起因する高次元設定においても、安定性と精度を維持する。
• 理論的解析により、ポテンシャル関数の弱い正則性仮定のもとで、推定器はモンテカルロ誤差および離散化誤差の両方に対して不偏のまま保たれることを確認した。