[论文解读] Fast approximate Bayesian inference for stable differential equation models

Philip Maybank, Ingo Bojak+1 more|arXiv (Cornell University)|Jun 2, 2017

Gaussian Processes and Bayesian Inference参考文献 12被引用 8

一句话总结

本文提出了一种针对稳定微分方程模型的快速近似贝叶斯推断方法，通过在稳定不动点附近进行线性化，并结合Whittle似然函数，显著降低了计算成本。该方法可实现对长时序数据（超过10,000个时间点）和中等维度系统（10–50个状态变量与参数）的高效后验推断，在保持基于梯度采样和重参数化方法准确后验探索的同时，相比最先进方法实现了数个数量级的速度提升。

ABSTRACT

Inference for mechanistic models is challenging because of nonlinear interactions between model parameters and a lack of identifiability. Here we focus on a specific class of mechanistic models, which we term stable differential equations. The dynamics in these models are approximately linear around a stable fixed point of the system. We exploit this property to develop fast approximate methods for posterior inference. We illustrate our approach using simulated data on a mechanistic neuroscience model with EEG data. More generally, stable differential equation models and the corresponding inference methods are useful for analysis of stationary time-series data. Compared to the existing state-of-the art, our methods are several orders of magnitude faster, and are particularly suited to analysis of long time-series (>10,000 time-points) and models of moderate dimension (10-50 state variables and 10-50 parameters.)

研究动机与目标

• 解决在高维状态空间和长时序数据下，非线性微分方程模型中精确贝叶斯推断的计算不可行性。
• 克服现有伪边缘MCMC与哈密顿蒙特卡洛方法的局限性，这些方法在时间点数n、状态维度d和参数数量p较大时扩展性差。
• 为动力学在稳定不动点附近近似线性的模型开发可扩展的推断框架，此类情况在系统生物学与计算神经科学中普遍存在。
• 通过以平衡值为参数进行重参数化，并利用Whittle似然函数的解析导数，改进后验探索与边际似然估计。
• 通过解析近似降低计算复杂度，使原本需数月才能收敛的精确方法实现快速推断。

提出的方法

• 在稳定不动点附近对系统动力学进行线性化，以实现谱密度的解析计算，替代昂贵的数值积分。
• 使用Whittle似然函数近似参数的边际似然，将每次评估的计算成本从O(n)降低至O(log n)。
• 采用平衡状态值作为参数对模型进行重参数化，简化后验几何结构并加速MCMC混合。
• 推导Whittle似然函数的解析梯度，以支持高效的基于梯度的MCMC算法（如哈密顿蒙特卡洛）。
• 应用启发式方法量化线性化与Whittle近似的准确性，确保推断的可靠性。
• 将上述技术整合为一个可扩展的推断流程，适用于长时序数据（n > 10,000）和中等维度模型（d ≈ 10–50，p ≈ 10–50）。

实验结果

研究问题

• RQ1 我们能否在不依赖昂贵的粒子MCMC或完整数值积分的情况下，实现稳定微分方程模型的快速且准确的贝叶斯推断？
• RQ2 在长时序数据下，围绕稳定不动点的线性化对非线性系统中后验推断的准确性有何影响？
• RQ3 在具有复杂非线性动力学的状态空间模型中，Whittle似然函数在多大程度上可替代完整的似然评估？
• RQ4 以平衡值为参数进行重参数化，是否能显著改善高维参数空间中MCMC的收敛性与混合效率？
• RQ5 在本场景中，使用Whittle似然函数的解析梯度对哈密顿蒙特卡洛的计算增益有多大？

主要发现

• 所提方法相比最先进粒子MCMC与哈密顿蒙特卡洛方法，将计算成本降低了数个数量级。
• 对于长时序数据（n > 10,000），该方法使原本在台式机上需数月才能完成的标准实现变为可行。
• 结合解析谱密度计算的Whittle似然函数可在无需数值积分的情况下实现准确的边际似然近似。
• 通过使用平衡值进行重参数化，计算量额外降低一个数量级，并显著提升了MCMC混合效率。
• Whittle似然函数的解析导数支持高效的基于梯度的采样，进一步加速收敛。
• 即使在参数难以识别的情况下，该方法仍能保持后验推断的准确性，优于点估计或拉普拉斯近似在捕捉后验依赖结构方面的能力。