[论文解读] Generalized Bayesian Likelihood-Free Inference Using Scoring Rules Estimators

Lorenzo Pacchiardi, Ritabrata Dutta|arXiv (Cornell University)|Apr 8, 2021

Statistical Methods and Inference参考文献 55被引用 9

一句话总结

本文提出了一种基于评分规则估计器的广义贝叶斯似然无关推断框架，利用严格 proper scoring rules 确保后验一致性与异常值鲁棒性。通过在伪边缘 MCMC 中使用核函数和能量得分的一致估计器，该方法实现了有限样本下的后验一致性，并将现有方法（如贝叶斯合成似然）作为特例推广。

ABSTRACT

We propose a framework for Bayesian Likelihood-Free Inference (LFI) based on Generalized Bayesian Inference using scoring rules (SRs). SRs are used to evaluate probabilistic models given an observation; a proper SR is minimised in expectation when the model corresponds to the data generating process for the observations. Using a strictly proper SR, for which the above minimum is unique, ensures posterior consistency of our method. Further, we prove finite sample posterior consistency and outlier robustness of our posterior for the Kernel and Energy Scores. As the likelihood function is intractable for LFI, we employ consistent estimators of SRs using model simulations in a pseudo-marginal MCMC; we show the target of such chain converges to the exact SR posterior by increasing the number of simulations. Furthermore, we note popular LFI techniques such as Bayesian Synthetic Likelihood (BSL) can be seen as special cases of our framework using only proper (but not strictly so) SR. We empirically validate our consistency and outlier robustness results and show how related approaches do not enjoy these properties. Practically, we use the Energy and Kernel Scores, but our general framework sets the stage for extensions with other scoring rules.

研究动机与目标

• 开发一种无需显式计算似然函数的贝叶斯似然无关推断通用框架。
• 在似然函数不可计算的情况下，确保后验的一致性与对异常值的鲁棒性。
• 通过将现有似然无关方法（如贝叶斯合成似然）嵌入评分规则框架，实现统一与泛化。
• 为特定评分规则（如核函数和能量得分）建立理论保证——有限样本后验一致性与鲁棒性。
• 通过在伪边缘 MCMC 框架中使用基于模型模拟的一致评分规则估计器，实现实际推断。

提出的方法

• 以严格 proper scoring rules (SRs) 作为评估概率模型的基础，确保真实数据生成模型最小化期望得分。
• 采用核函数和能量得分作为严格 proper scoring rules 的具体实例，通过广义贝叶斯更新规则定义后验分布。
• 应用伪边缘 MCMC 近似评分规则期望的不可计算性，利用模型模拟的蒙特卡洛估计。
• 证明随着模拟次数增加，MCMC 链的目标分布收敛至精确的 SR 后验。
• 建立后验一致性和对异常值鲁棒性的理论条件，尤其针对核函数和能量得分。
• 将贝叶斯合成似然重新解释为该框架的一个特例，其使用的是 proper 但非 strictly proper 的评分规则。

实验结果

研究问题

• RQ1 能否基于评分规则构建一个广义的贝叶斯似然无关推断框架，以确保后验一致性和鲁棒性？
• RQ2 在该框架中，核函数和能量得分在有限样本后验一致性与异常值鲁棒性方面表现如何？
• RQ3 现有似然无关方法（如贝叶斯合成似然）在多大程度上可被纳入这一更广泛的基于评分规则的框架？
• RQ4 该框架下后验收敛性与鲁棒性的理论保证有哪些？
• RQ5 在伪边缘 MCMC 中使用评分规则的一致估计器，对收敛至真实后验有何影响？

主要发现

• 在温和的正则性条件下，所提出的框架对核函数和能量得分可确保后验一致性。
• 该方法表现出有限样本后验一致性，即随着数据点数量增加，后验会集中在真实参数值附近。
• 对核函数和能量得分，形式化建立了异常值鲁棒性，而许多现有似然无关方法不具备此特性。
• 证明了贝叶斯合成似然可作为该框架的一个特例，其使用的是 proper 但非 strictly proper 的评分规则。
• 伪边缘 MCMC 算法在每次迭代的模拟次数增加时，收敛至精确的 SR 后验。
• 经验验证表明，缺乏严格 proper 性质的相关方法无法实现相同的收敛性或鲁棒性特征。