[论文解读] Error Bounds and Normalizing Constants for Sequential Monte Carlo in High Dimensions

Alexandros Beskos, Dan Crisan+2 more|arXiv (Cornell University)|Dec 7, 2011

Markov Chains and Monte Carlo Methods参考文献 26被引用 11

一句话总结

本文在粒子数 N 固定的高维设置下，为序列蒙特卡洛（SMC）采样器建立了显式的误差界和归一化常数估计的渐近精度。证明了在维度 d 增加时，估计固定维数边缘分布的 L2 误差仅以 O(N⁻¹) 因子增长，推导出归一化常数估计的精确渐近 L2 误差率 O(N⁻¹)，同时在固定 N 的高维极限下建立了混沌传播性质。

ABSTRACT

In a recent paper Beskos et al (2011), the Sequential Monte Carlo (SMC) sampler introduced in Del Moral et al (2006), Neal (2001) has been shown to be asymptotically stable in the dimension of the state space d at a cost that is only polynomial in d, when N the number of Monte Carlo samples, is fixed. More precisely, it has been established that the effective sample size (ESS) of the ensuing (approximate) sample and the Monte Carlo error of fixed dimensional marginals will converge as $d$ grows, with a computational cost of $\mathcal{O}(Nd^2)$. In the present work, further results on SMC methods in high dimensions are provided as $d o\infty$ and with $N$ fixed. We deduce an explicit bound on the Monte-Carlo error for estimates derived using the SMC sampler and the exact asymptotic relative $\mathbb{L}_2$-error of the estimate of the normalizing constant. We also establish marginal propagation of chaos properties of the algorithm. The accuracy in high-dimensions of some approximate SMC-based filtering schemes is also discussed.

研究动机与目标

• 在状态空间维度 d 趋于无穷大且粒子数 N 固定的情况下，为序列蒙特卡洛（SMC）采样器建立严格的误差界。
• 推导在高维下基于 SMC 的归一化常数比值估计的精确渐近相对 L2 误差。
• 研究在应用重采样时，SMC 粒子系统在高维下的混沌传播性质。
• 分析在高维状态空间中基于 SMC 的滤波方案的稳定性和准确性。
• 比较 SMC 方法中不同人工目标密度序列对估计误差和收敛速率的影响。

提出的方法

• 通过涉及归一化充分统计量的指数矩的二阶泰勒展开，推导出固定维数边缘分布的 SMC 估计 L2 误差的显式上界。
• 引入一系列人工目标密度，将 d 维空间中的简单初始分布与目标分布连接起来，在初始分布与最终分布之间引入 d 个人工目标。
• 利用有界收敛定理和总变差范数界，分析粒子系统分布收敛到其极限乘积测度的过程。
• 通过粒子索引上的条件期望分解和恒等式分解，界定经验联合分布与目标联合分布之间的偏差。
• 利用 MCMC 重采样步骤中使用的马尔可夫核的遍历性，确保 SMC 算法在高维下的稳定性。
• 通过推导在固定 N 和 d 增长条件下的归一化常数估计器的渐近 L2 误差率，分析其行为，表明其收敛速率为 O(N⁻¹)。

实验结果

研究问题

• RQ1 当粒子数 N 固定时，SMC 估计固定维数边缘分布的 L2 误差如何随维度 d 变化？
• RQ2 在固定 N 的高维下，使用 SMC 采样器估计归一化常数比值的精确渐近相对 L2 误差是多少？
• RQ3 当 d → ∞ 且 N 固定时，SMC 采样器中的粒子是否渐近独立（即混沌传播）？
• RQ4 当 N 固定时，基于 SMC 的滤波方案在高维状态空间中是否仍能保持稳定和准确？
• RQ5 在高维设置下，不同的人工目标密度序列如何影响 SMC 估计器的收敛速率和误差？

主要发现

• 当维度 d 增加而 N 固定时，估计固定维数边缘分布的 L2 误差仅以 O(N⁻¹) 因子增长，表明在高维下具有强稳定性。
• 在固定 N 条件下，当 d → ∞ 时，归一化常数比值估计的相对 L2 误差收敛速率为 O(N⁻¹)，计算成本为 O(Nd²)。
• SMC 采样器表现出混沌传播：任意固定大小的 q 个粒子块在 d → ∞ 时渐近独立，且具有正确的边缘分布，即使 N 固定。
• 通过转移核的总变差范数界和条件期望分解，建立了粒子系统分布收敛到其极限乘积测度的结果。
• 在目标密度的充分统计量满足温和的矩和有界性假设下，结果成立，确保了在一大类高维模型中的鲁棒性。
• 理论框架允许比较 SMC 中不同人工路径设计的性能，为实际中最优序列选择提供了依据。