[論文レビュー] Variance Estimation in Adaptive Sequential Monte Carlo

Qiming Du, Arnaud Guyader|arXiv (Cornell University)|Sep 30, 2019

Markov Chains and Monte Carlo Methods参考文献 14被引用数 5

ひとこと要約

本稿は、自然な仮定の下で、リーとホワイトリーの分散推定器が適応的逐次モンテカルロ（ASMC）手法に対して一貫性を示すことを確立している。これは、非適応的「極限」SMCアルゴリズムの分散と 渐近的に一致することを示している。著者らは、粒子の系統を追跡するコalescent木に基づく推定器を導入し、既存の手法と結びつけるとともに、1回のシミュレーションで適応的状況下での分散推定を可能にした。

ABSTRACT

Sequential Monte Carlo (SMC) methods represent a classical set of techniques to simulate a sequence of probability measures through a simple selection/mutation mechanism. However, the associated selection functions and mutation kernels usually depend on tuning parameters that are of first importance for the efficiency of the algorithm. A standard way to address this problem is to apply Adaptive Sequential Monte Carlo (ASMC) methods, which consist in exploiting the information given by the history of the sample to tune the parameters. This article is concerned with variance estimation in such ASMC methods. Specifically, we focus on the case where the asymptotic variance coincides with the one of the "limiting" Sequential Monte Carlo algorithm as defined by Beskos et al. (2016). We prove that, under natural assumptions, the estimator introduced by Lee and Whiteley (2018) in the nonadaptive case (i.e., SMC) is also a consistent estimator of the asymptotic variance for ASMC methods. To do this, we introduce a new estimator that is expressed in terms of coalescent tree-based measures, and explain its connection with the previous one. Our estimator is constructed by tracing the genealogy of the associated Interacting Particle System. The tools we use connect the study of Particle Markov Chain Monte Carlo methods and the variance estimation problem in SMC methods. As such, they may give some new insights when dealing with complex genealogy-involved problems of Interacting Particle Systems in more general scenarios.

研究の動機と目的

• 広く使われているが、信頼性の高い不確実性の定量化を欠く適応的逐次モンテカルロ（ASMC）手法における一貫性のある分散推定の欠如に取り組む。
• チューニングパラメータが粒子の履歴に基づいて更新される適応的状況に、リーとホワイトリーの非適応的分散推定器を拡張する。
• 自然な仮定の下で、適応的SMCアルゴリズムの漸近的分散が、非適応的「極限」SMCアルゴリズムの分散と一致することを証明する。
• 粒子系統を追跡するコalescent木に基づく新しい分散推定器を導入し、既存の推定器と結びつける。
• 粒子マルコフ連鎖モンテカルロとSMCにおける分散推定を結びつける理論的ツールを提供し、より広範な応用可能性を示唆する。

提案手法

• ASMCにおける相互作用粒子系（IPS）の系統的構造を追跡するコalescent木に基づく分散推定器を提案する。
• 時間 $ n $ における粒子の共通の祖先から遡及する粒子の同時分布を表す共通測度 $ \bar{\Gamma}_{n}^{(p)} $ を用いて推定器を定義する。
• 非適応的状況において、新しいコalescentベースの推定器とリーとホワイトリー（2018）の「逐項」推定器との関係を確立する。
• フェインマン＝カースの半群理論と双対性公式を用いて、適応的フレームワークにおける分散推定器の漸近的挙動を分析する。
• ASMCアルゴリズムの弱い正則性および安定性仮定の下で、推定器のほとんど確実収束および一貫性を証明する。
• 固定ラグ $ H $ を用いた切り捨てられた分散推定器を導入し、高次元または長時間のシミュレーションにおける数値的安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 リーとホワイトリーの非適応的分散推定器は、適応的SMC手法に適用しても一貫性を保つのか？
• RQ2 適応的SMCにおける漸近的分散を一貫して推定できるコalescent木ベースの推定器を構築できるか？
• RQ3 適応的SMCアルゴリズムが非適応的「極限」SMCアルゴリズムと同じ限界分散に収束する条件は何か？
• RQ4 粒子系の系統的情報をどのように活用すれば、長時間または高次元の設定下でも数値的に安定した分散推定器を構築できるか？
• RQ5 適応的SMCの文脈において、コalescent木ベースの推定器と逐項推定器との理論的関係は何か？

主な発見

• 適応的アルゴリズムが非適応的「極限」SMCアルゴリズムに漸近的に一致するという仮定の下で、リーとホワイトリーの分散推定器は適応的SMCに対して一貫性を示す。
• 新しいコalescent木ベースの分散推定器が導入され、これは非適応的状況では逐項推定器と数学的に同等であり、自然に適応的状況へ拡張可能である。
• 理論的分析により、標準的な正則性および安定性条件の下で、適応的SMC推定器の漸近的分散が非適応的「極限」SMCと同一の極限に収束することが確認された。
• 数値実験では、$ N \to \infty $ の下で、適応的および非適応的SMCの分散推定器が同じ基準値に収束し、$ N \geq 10^4 $ の場合に95％信頼区間が重複した。
• 長時間シミュレーションにおける劣化を軽減するために、固定ラグ $ H $ を用いた切り捨てられた分散推定器が提案され、混合性および忘却性の性質に基づく理論的裏付けが与えられた。
• 推定器 $ N(\eta_N^n(f)^2 - \bar{\Gamma}_{n,N}^{(\varnothing,H)}(f^{\otimes 2})) $ は、元のリー＝ホワイトリー推定器の安定的かつ切り捨てられたバージョンであり、OD19の手法と整合的であることが示された。