[论文解读] Auxiliary Likelihood-Based Approximate Bayesian Computation in State Space Models

Gael M. Martin, Brendan McCabe+3 more|arXiv (Cornell University)|Apr 27, 2016

Markov Chains and Monte Carlo Methods参考文献 43被引用 3

一句话总结

本文提出了一种计算高效的近似贝叶斯计算（ABC）方法，用于状态空间模型，通过使用辅助似然函数作为摘要统计量，确保了贝叶斯一致性。该方法通过整合似然函数在多参数设置下提高了精度，并在随机波动率模型上表现出色。

ABSTRACT

A computationally simple approach to inference in state space models is proposed, using approximate Bayesian computation (ABC). ABC avoids evaluation of an intractable likelihood by matching summary statistics for the observed data with statistics computed from data simulated from the true process, based on parameter draws from the prior. Draws that produce a “match” between observed and simulated summaries are retained, and used to estimate the inaccessible posterior. With no reduction to a low-dimensional set ofsufficient statistics being possible in the state space setting, we define the summaries as the maximum of an auxiliary likelihood function, and thereby exploit the asymptotic sufficiency of this estimator for the auxiliary parameter vector. We derive conditions under which this approach—including a computationally efficient version based on the auxiliary score—achieves Bayesian consistency. To reduce the well-documented inaccuracy of ABC in multiparameter settings, we propose the separate treatment of each parameter dimension using an integrated likelihood technique. Three stochastic volatility models for which exact Bayesian inference is either computationally challenging, or infeasible, are used for illustration. We demonstrate that our approach compares favorably against an extensive set of approximate and exact comparators. An empirical illustration completes the article. Supplementary materials for this article are available online.

研究动机与目标

• 解决状态空间模型中似然函数不可计算的问题，其中精确的贝叶斯推断在计算上不可行。
• 开发一种计算简便的ABC方法，通过使用从辅助似然函数导出的摘要统计量，避免直接计算似然函数。
• 通过利用辅助最大似然估计量的渐近充分性，确保ABC近似具有贝叶斯一致性。
• 通过一种新颖的整合似然技术，分别处理每个参数维度，减少高维参数空间中ABC的不准确性。
• 在精确推断困难或不可行的复杂随机波动率模型上，展示该方法的有效性。

提出的方法

• 将ABC的摘要统计量定义为辅助似然函数的最大值，利用其对辅助参数向量的渐近充分性。
• 在ABC接受步骤中，使用辅助得分作为完整辅助似然函数的计算高效替代方案。
• 应用整合似然技术，分别处理每个参数维度，提升多参数推断中的精度。
• 保留那些使观测值与模拟值的摘要统计量匹配良好的参数样本，从而形成后验分布的近似。
• 推导ABC程序实现贝叶斯一致性的条件，尤其在辅助模型满足正则性条件时。
• 采用基于模拟的推断方法实现该方法，其中辅助模型被选择为正确设定且计算上可行。

实验结果

研究问题

• RQ1 辅助似然函数能否在状态空间模型的ABC中作为有效的摘要统计量，确保一致性与计算效率？
• RQ2 使用辅助得分而非完整似然函数，在ABC推断中如何在不损失精度的前提下显著提升计算速度？
• RQ3 通过整合似然技术分别处理参数维度，在多参数设置下能在多大程度上减少ABC的不准确性？
• RQ4 在辅助模型满足正则性条件时，所提出的ABC方法是否能实现贝叶斯一致性？
• RQ5 在随机波动率模型上，该方法与精确方法及其他近似贝叶斯方法相比，在精度与计算成本方面表现如何？

主要发现

• 基于辅助似然函数的所提ABC方法在正则性条件下实现了贝叶斯一致性，确保了有效的后验近似。
• 使用辅助得分替代完整似然函数显著降低了计算成本，同时保持了优异的性能。
• 用于分别处理参数维度的整合似然技术，相比标准ABC，在多参数模型中提升了ABC的精度。
• 在三个随机波动率模型上，该方法在估计精度方面优于广泛的近似与精确比较方法。
• 实证结果证实了该方法在涉及潜变量过程的实际应用中的实际可行性与鲁棒性。
• 补充材料确认了方法的可重现性，并提供了所提方法的额外实现细节。