[論文レビュー] On the Stability of Sequential Monte Carlo Methods in High Dimensions

Alexandros Beskos, Dan Crisan+1 more|arXiv (Cornell University)|Mar 21, 2011

Markov Chains and Monte Carlo Methods参考文献 47被引用数 17

ひとこと要約

本稿は、高次元のターゲット分布に対して逐次モンテカルロ（SMC）法の安定性を確立する。人工的な中間分布の系列を導入することで、固定された粒子数 $ N $ において、有効サンプルサイズ（ESS）が非退化な確率変数 $ \varepsilon_N \in (1, N) $ に収束することを証明した。また、$ d \to \infty $ のとき、固定次元の周辺分布を推定するモンテカルロ誤差は $ d $ に依存せず $ \mathcal{O}(1/\sqrt{N}) $ に保たれ、計算コストは $ \mathcal{O}(Nd^2) $ である。

ABSTRACT

We investigate the stability of a Sequential Monte Carlo (SMC) method applied to the problem of sampling from a target distribution on $\mathbb{R}^d$ for large $d$. It is well known that using a single importance sampling step one produces an approximation for the target that deteriorates as the dimension $d$ increases, unless the number of Monte Carlo samples $N$ increases at an exponential rate in $d$. We show that this degeneracy can be avoided by introducing a sequence of artificial targets, starting from a `simple' density and moving to the one of interest, using an SMC method to sample from the sequence. Using this class of SMC methods with a fixed number of samples, one can produce an approximation for which the effective sample size (ESS) converges to a random variable $\varepsilon_N$ as $d ightarrow\infty$ with $1

研究の動機と目的

• 高次元のターゲット分布 $ \mathbb{R}^d $ からのサンプリングにおけるSMC法の安定性を調査すること。
• 固定された $ N $ において、次元 $ d \to \infty $ のとき、有効サンプルサイズ（ESS）がゼロから離れて保たれるかどうかを分析すること。
• 固定次元の周辺分布を推定するモンテカルロ誤差が、高次元においても制御可能かどうかを特定すること。
• リサンプリングが高次元設定におけるESSと誤差に与える影響を評価すること。
• 高次元ベイズ推論における中間分布を用いたSMC法の理論的裏付けを提供すること。

提案手法

• 簡単な密度から目的のターゲットに至る人工的ターゲット分布の系列を導入する。
• 粒子を分布の系列全体にわたって伝搬するために、逐次重要度サンプリングとリサンプリングを用いたSMCを適用する。
• Markov遷移核の一様幾何的定常性を確立するために、リャプノフ関数を用いる。
• 固定された $ N $ において、$ d \to \infty $ のとき、ESSが非退化な確率変数 $ \varepsilon_N \in (1, N) $ に弱収束することを証明する。
• パrameter $ s \in [\phi_0, 1] $ における核の連続性を分析することで、Markov遷移核の安定性を保証する。
• 固定次元の周辺期待値を推定するモンテカルロ誤差が、$ d $ に一様に依存せず $ \mathcal{O}(1/\sqrt{N}) $ であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 固定された粒子数 $ N $ において、次元 $ d \to \infty $ のとき、SMCアルゴリズムの有効サンプルサイズ（ESS）はゼロから離れて保たれるか？
• RQ2 次元 $ d \to \infty $ のときでさえ、固定次元の周辺分布を推定するモンテカルロ誤差は $ d $ に一様に制御可能か？
• RQ3 SMCアルゴリズムの計算コストは高次元でどのようになるか？また、$ d $ に対して指数的でないスケーリングを示すか？
• RQ4 リサンプリングは高次元SMCにおける極限的ESSと誤差にどのように影響するか？
• RQ5 標準的インポートランスサンプリングが高次元で見せる指数的粒子数要請を、SMC法は回避できるか？

主な発見

• 固定された $ N $ において、次元 $ d \to \infty $ のとき、SMCアルゴリズムの有効サンプルサイズ（ESS）は非退化な確率変数 $ \varepsilon_N \in (1, N) $ に弱収束する。
• 固定次元の周辺期待値を推定するモンテカルロ誤差は、$ d $ に一様に $ \mathcal{O}(1/\sqrt{N}) $ であり、次元にかかわらず安定した性能を示す。
• アルゴリズムの計算コストは $ \mathcal{O}(Nd^2) $ であり、$ d $ に対して指数的でないため、高次元問題に対しても実行可能である。
• $ m $ 個のリサンプリングステップ（$ d $ とは独立）を導入することで、極限的ESSは $ \varepsilon_{N,m} $ に上昇し、$ \lim_{m \to \infty} \varepsilon_{N,m} = N $ となる。これによりリサンプリングが安定性を向上させることを示す。
• 標準的インポートランスサンプリングが高次元で示す指数的粒子数要請を回避でき、中間ステップの非現実的さに関する予想が解消される。
• 理論的分析により、一様幾何的定常性と補間パrameter $ s $ における核の連続性を介して、一様安定性が確認される。