[论文解读] Approximate Bayesian Computation in State Space Models

Gael M. Martin, Brendan McCabe+2 more|arXiv (Cornell University)|Sep 30, 2014

Markov Chains and Monte Carlo Methods参考文献 59被引用 12

一句话总结

本文提出一种基于辅助模型的总结统计量的近似贝叶斯计算（ABC）方法，用于状态空间模型，特别利用辅助模型的最大似然估计量（MLE）和得分来实现渐近充分性。主要贡献在于理论上的贝叶斯一致性以及基于得分的ABC在计算上的高效性，其精度与基于MLE的ABC相当，同时避免了在每次ABC迭代中进行昂贵的优化，通过无迹卡尔曼滤波在随机波动率模型中得到验证。

ABSTRACT

A new approach to inference in state space models is proposed, based on approximate Bayesian computation (ABC). ABC avoids evaluation of the likelihood function by matching observed summary statistics with statistics computed from data simulated from the true process; exact inference being feasible only if the statistics are sufficient. With finite sample sufficiency unattainable in the state space setting, we seek asymptotic sufficiency via the maximum likelihood estimator (MLE) of the parameters of an auxiliary model. We prove that this auxiliary model-based approach achieves Bayesian consistency, and that - in a precise limiting sense - the proximity to (asymptotic) sufficiency yielded by the MLE is replicated by the score. In multiple parameter settings a separate treatment of scalar parameters, based on integrated likelihood techniques, is advocated as a way of avoiding the curse of dimensionality. Some attention is given to a structure in which the state variable is driven by a continuous time process, with exact inference typically infeasible in this case as a result of intractable transitions. The ABC method is demonstrated using the unscented Kalman filter as a fast and simple way of producing an approximation in this setting, with a stochastic volatility model for financial returns used for illustration.

研究动机与目标

• 解决非线性、连续时间状态空间模型中似然函数难以计算的问题，其中精确的贝叶斯推断不可行。
• 通过利用辅助模型实现渐近充分性，克服状态空间模型在有限样本下缺乏充分统计量的问题。
• 开发一种计算高效的ABC方法，通过使用辅助模型的得分而非MLE，避免在每次ABC迭代中进行优化。
• 通过边际化技术减轻维度灾难的影响，展示基于得分的ABC在高维参数设定下的有效性。
• 在标准正则条件下，建立基于MLE和基于得分的ABC之间的理论一致性与等价性，确保后验近似的鲁棒性。

提出的方法

• 使用辅助模型生成ABC的总结统计量，其中辅助模型参数的MLE作为主要总结统计量，以实现渐近充分性。
• 将基于MLE的匹配替换为基于得分的匹配——在观测数据的MLE处评估辅助模型的得分，实现与基于MLE匹配相当的渐近精度，同时显著降低计算成本。
• 应用无迹卡尔曼滤波（UKF）来近似连续时间状态空间模型中辅助模型的似然函数，其中真实似然函数难以计算。
• 实施两阶段ABC程序：首先使用宽泛的先验识别后验密度高区域；其次截断先验并重新运行ABC以提高精度。
• 通过将参数分块并执行边际推断，利用积分似然原理处理高维参数空间，降低维度相关带来的不准确性。
• 在标准准MLE正则条件下，建立ABC方法的理论一致性，确保当容忍度趋近于零时，后验分布收敛至真实后验分布。

实验结果

研究问题

• RQ1 尽管在有限样本下缺乏充分统计量，基于辅助模型的ABC是否能在状态空间模型中实现贝叶斯一致性？
• RQ2 辅助模型的得分是否在ABC匹配中渐近等价于MLE？这种等价性在精确识别和过度识别模型下是否均成立？
• RQ3 基于得分的ABC是否能显著降低计算成本，同时不牺牲精度，相比基于MLE的ABC？
• RQ4 在高维参数设定下，该方法的有效性如何？通过积分似然实现的边际化是否能提高精度？
• RQ5 在随机波动率模型中，基于得分的ABC与其它ABC方法及似然近似方法（如Euler法、AUKF）相比，性能如何？

主要发现

• 在辅助模型准MLE的标准正则条件下，基于辅助模型的ABC方法在理论上具有贝叶斯一致性。
• 辅助模型的得分与MLE在ABC匹配中实现渐近等价，且该等价性不依赖于正定加权矩阵的选择，从而实现显著的计算节省。
• 在单参数随机波动率模型中，ABC-Marginal Score方法对ρ的均方误差（RMSE）为0.0028，优于AUKF（0.0263）和Euler法（0.0096）的基准结果。
• 在双参数情形（ρ和σv）下，联合得分ABC方法的RMSE最低（0.0054），显著低于AUKF（0.0529）和Euler法（0.0072）的近似结果。
• 在三参数情形下，联合得分ABC方法对σv的RMSE最低（0.0166），优于AUKF（0.0287）和Euler法（0.0242）的近似结果。
• 边际化方法在双参数情形下提升了ρ的精度，将RMSE从联合情形的0.0054降低至0.0045，同时对其他参数的性能影响极小。