[论文解读] Information Geometry and Sequential Monte Carlo

Aaron Sim, Sarah Filippi+1 more|arXiv (Cornell University)|Dec 4, 2012

Markov Chains and Monte Carlo Methods参考文献 11被引用 7

一句话总结

本文提出了一种基于信息几何增强的序贯蒙特卡洛（SMC）采样器，利用黎曼流形马尔可夫链蒙特卡洛调整的朗之万算法（mMALA）作为转移核，以提升在高维、相关参数空间中的采样效率。通过在统计流形空间的测地线上构建中间分布，该方法在洛特卡-沃尔泰拉模型和菲茨休-纳古莫模型上的贝叶斯推断中，显著提高了有效样本大小并增强了统计鲁棒性，相较于标准的自适应随机游走核具有明显优势。

ABSTRACT

This paper explores the application of methods from information geometry to the sequential Monte Carlo (SMC) sampler. In particular the Riemannian manifold Metropolis-adjusted Langevin algorithm (mMALA) is adapted for the transition kernels in SMC. Similar to its function in Markov chain Monte Carlo methods, the mMALA is a fully adaptable kernel which allows for efficient sampling of high-dimensional and highly correlated parameter spaces. We set up the theoretical framework for its use in SMC with a focus on the application to the problem of sequential Bayesian inference for dynamical systems as modelled by sets of ordinary differential equations. In addition, we argue that defining the sequence of distributions on geodesics optimises the effective sample sizes in the SMC run. We illustrate the application of the methodology by inferring the parameters of simulated Lotka-Volterra and Fitzhugh-Nagumo models. In particular we demonstrate that compared to employing a standard adaptive random walk kernel, the SMC sampler with an information geometric kernel design attains a higher level of statistical robustness in the inferred parameters of the dynamical systems.

研究动机与目标

• 提升序贯蒙特卡洛（SMC）采样器在动力系统贝叶斯推断中常见的高维、相关参数空间中的效率与鲁棒性。
• 将信息几何原理——特别是黎曼流形结构与测地线路径——整合到SMC转移核的设计中。
• 通过将中间分布序列沿统计流形空间中的测地线排列，最小化分布间的累积散度，从而优化SMC中的中间分布序列。
• 证明在SMC中使用mMALA作为提议核，相较于标准自适应随机游走核，可获得更高的有效样本大小与更可靠的参数推断。
• 为涉及常微分方程模型的复杂推断问题，提供一个理论基础坚实、几何清晰的高效SMC算法设计框架。

提出的方法

• 将黎曼流形马尔可夫链蒙特卡洛调整的朗之万算法（mMALA）作为SMC框架内的全自适应转移核，利用费舍尔信息度量来表征参数空间的曲率。
• 在统计流形的测地线上构建中间分布，通过最小化相邻分布之间的Kullback-Leibler散度，提升提议效率。
• 采用更高阶的Ozaki离散化方法处理朗之万扩散SDE，以获得更稳定、更精确的提议分布，并改善收敛特性。
• 推导出统计流形上费舍尔度量及其一阶与二阶导数的显式表达式，从而在mMALA核中实现对曲率的感知提议分布。
• 利用黎曼度量在提议核中定义状态相关的协方差结构，使高维且高度相关的参数空间得以高效探索。
• 将所得的SMC采样器应用于动力系统的序贯贝叶斯推断问题，使用常微分方程建模系统动力学。

实验结果

研究问题

• RQ1 信息几何能否被有效整合到序贯蒙特卡洛采样器中，以提升在高维、相关参数空间中的采样效率？
• RQ2 在统计流形中沿测地线构建中间分布，是否能带来更高的有效样本大小与更优的收敛性？
• RQ3 与标准自适应随机游走核相比，采用mMALA核的SMC采样器在统计鲁棒性与参数推断准确性方面表现如何？
• RQ4 在mMALA框架内的朗之万扩散提议中，使用高阶离散化（Ozaki）与欧拉格式相比，其影响是什么？
• RQ5 通过费舍尔度量实现的曲率感知采样，在基于常微分方程建模的动力系统推断中，能带来多大程度的性能提升？

主要发现

• 在测试的动力系统中，采用信息几何mMALA核的SMC采样器相较于标准自适应随机游走核，显著提高了有效样本大小。
• 在统计流形中沿测地线排列中间分布，可实现更高效的探索并减少相邻分布间的发散，从而提升采样效率。
• 由参数空间的黎曼几何信息引导的mMALA核，能够更有效地探索高度相关且高维的参数空间。
• 在洛特卡-沃尔泰拉模型与菲茨休-纳古莫模型中，所提方法在参数推断中表现出更强的统计鲁棒性，表现为方差减小与收敛稳定性提升。
• 在朗之万提议中采用高阶Ozaki离散化，相较于欧拉格式，提供了更好的数值稳定性，并更精确地逼近真实扩散过程。
• 推导出了统计流形上费舍尔度量及其导数的显式解析表达式，使SMC框架中能够实现曲率感知的提议分布。