[论文解读] Unifying Sequential Monte Carlo with Resampling Matrices

Robert J. Webber|arXiv (Cornell University)|Mar 29, 2019

Mathematical Approximation and Integration参考文献 19被引用 5

一句话总结

本文提出了一种用于序列蒙特卡洛（SMC）算法的统一矩阵重采样框架，实现了对多种重采样方案的系统性分析与比较。该框架识别出能最小化误差的重采样矩阵，并推导出新的渐近误差公式，包括首次针对分层重采样和分层残差重采样的公式，为SMC应用中最佳重采样选择提供了理论依据。

ABSTRACT

Sequential Monte Carlo (SMC) is a class of algorithms that approximate high-dimensional expectations of a Markov chain. SMC algorithms typically include a resampling step. There are many possible ways to resample, but the relative advantages of different resampling schemes remains poorly understood. Here, a theoretical framework for comparing resampling schemes is presented. The framework uses resampling matrices to provide a simple description for the SMC resampling step. The framework identifies the matrix resampling scheme that gives the lowest possible error. The framework leads to new asymptotic error formulas that can be used to compare different resampling schemes.

研究动机与目标

• 统一并系统分析序列蒙特卡洛（SMC）算法中多样的重采样方案。
• 解决现代重采样方法（尤其是分层和残差方案）缺乏理论比较工具的问题。
• 识别在SMC中使重采样误差最小的重采样矩阵。
• 推导适用于广泛重采样方案类别的新渐近误差公式，包括此前未被分析的方案。
• 为SMC应用中选择最优重采样策略提供理论基础。

提出的方法

• 引入一种基于重采样矩阵的矩阵重采样框架，用于表示并统一各种重采样方案。
• 将重采样矩阵定义为保持粒子加权经验测度的随机转移核。
• 在矩阵框架下证明SMC估计的无偏性、几乎必然收敛性以及方差上界。
• 应用鞅论证以建立SMC估计的一致性和收敛性。
• 通过分析不同方案下重采样方差的极限行为，推导渐近方差公式。
• 利用$L^2$投影和经验测度收敛性来界定重采样方差并比较不同方案。

实验结果

研究问题

• RQ1 什么理论框架能够统一序列蒙特卡洛中多样的重采样方案？
• RQ2 在SMC算法中，哪种重采样矩阵能最小化重采样误差？
• RQ3 分层重采样和分层残差重采样的渐近误差界是什么？此前这些方法缺乏此类分析。
• RQ4 如何通过统一的数学形式化方法系统地分析和比较重采样步骤？
• RQ5 在一般重采样矩阵下，SMC估计的收敛性和无偏性需满足什么条件？

主要发现

• 矩阵重采样框架为广泛重采样方案提供了统一描述，确保了SMC估计的无偏性和收敛性。
• 在框架内识别出使重采样误差最小的重采样矩阵，即为最优选择。
• 推导出新的渐近误差公式，包括首次针对分层重采样和分层残差重采样的误差界。
• 对于多项式重采样，渐近方差以概率收敛至 $ \operatorname{E}\left[\prod_{s=0}^{t}G_{s}\right]\operatorname{E}\left[\prod_{s=0}^{t}G_{s}\left|h_{t}-\frac{\operatorname{E}\left[\prod_{s=0}^{t}G_{s}h_{t}\right]}{\operatorname{E}\left[\prod_{s=0}^{t}G_{s}\right]}\right|^{2}\right] $。
• 对于多项式残差重采样，渐近方差以概率收敛至 $ \frac{\left(\operatorname{E}\left[\prod_{s=0}^{t}G_{s}\right]\right)^{2}}{\operatorname{E}\left[\prod_{s=0}^{t-1}G_{s}\right]}\operatorname{E}\left[\prod_{s=0}^{t-1}G_{s}\left\{\tilde{G}_{t}\right\}\left|h_{t}-\frac{\operatorname{E}\left[\prod_{s=0}^{t-1}G_{s}\left\{\tilde{G}_{t}\right\}h_{t}\right]}{\operatorname{E}\left[\prod_{s=0}^{t-1}G_{s}\left\{\tilde{G}_{t}\right\}\right]}\right|^{2}\right] $。
• 伯努利重采样的重采样方差以概率收敛至 $ \frac{\left(\operatorname{E}\left[\prod_{s=0}^{t}G_{s}\right]\right)^{2}}{\operatorname{E}\left[\prod_{s=0}^{t-1}G_{s}\right]}\operatorname{E}\left[\prod_{s=0}^{t-1}G_{s}\left\{\tilde{G}_{t}\right\}\left(1-\left\{\tilde{G}_{t}\right\}\right)h_{t}^{2}\right] $。