[论文解读] Practical bounds on the error of Bayesian posterior approximations: A nonasymptotic approach

Jonathan H. Huggins, Trevor Campbell+2 more|arXiv (Cornell University)|Sep 25, 2018

Markov Chains and Monte Carlo Methods参考文献 48被引用 17

一句话总结

本文提出了一种非渐近框架，通过利用广义Fisher距离控制Wasserstein距离，对贝叶斯后验近似中的误差进行界控，从而为拉普拉斯近似和希尔伯特核密度近似等可扩展推理方法提供实用的误差界，前提条件为强凸性和三阶导数有界。

ABSTRACT

Bayesian inference typically requires the computation of an approximation to the posterior distribution. An important requirement for an approximate Bayesian inference algorithm is to output high-accuracy posterior mean and uncertainty estimates. Classical Monte Carlo methods, particularly Markov Chain Monte Carlo, remain the gold standard for approximate Bayesian inference because they have a robust finite-sample theory and reliable convergence diagnostics. However, alternative methods, which are more scalable or apply to problems where Markov Chain Monte Carlo cannot be used, lack the same finite-data approximation theory and tools for evaluating their accuracy. In this work, we develop a flexible new approach to bounding the error of mean and uncertainty estimates of scalable inference algorithms. Our strategy is to control the estimation errors in terms of Wasserstein distance, then bound the Wasserstein distance via a generalized notion of Fisher distance. Unlike computing the Wasserstein distance, which requires access to the normalized posterior distribution, the Fisher distance is tractable to compute because it requires access only to the gradient of the log posterior density. We demonstrate the usefulness of our Fisher distance approach by deriving bounds on the Wasserstein error of the Laplace approximation and Hilbert coresets. We anticipate that our approach will be applicable to many other approximate inference methods such as the integrated Laplace approximation, variational inference, and approximate Bayesian computation

研究动机与目标

• 解决可扩展贝叶斯推理方法（如变分推理、近似贝叶斯计算和核密度近似）在有限样本下缺乏理论保证的问题。
• 提供一种计算上可行的Wasserstein距离替代方案用于误差量化，因为后者因归一化要求而计算不可行。
• 建立Fisher距离与Wasserstein距离之间的联系，从而在后验均值和不确定性估计上实现可计算的、有限样本的误差界。
• 在两种关键可扩展方法上展示所提框架的实用性：拉普拉斯近似和贝叶斯核密度近似。
• 为实践者提供一种稳健的非渐近工具，用于评估近似后验均值和协方差的准确性，而无需依赖渐近近似。

提出的方法

• 引入$(p,\nu)$-Fisher距离作为现有基于Fisher信息的分歧的推广，以实现对$p$-Wasserstein距离的界控。
• 利用$(p,\nu)$-Fisher距离对真实后验与近似后验之间的$p$-Wasserstein距离进行上界估计，避免后验归一化。
• 在强凸性和后验对数密度三阶导数有界的假设下，推导拉普拉斯近似的Wasserstein误差界。
• 通过利用核密度近似构造中对Fisher距离的控制，将该框架应用于希尔伯特核密度近似，从而控制基于核密度的推理中的Wasserstein误差。
• 利用泰勒展开和高斯混合模型的矩界，控制真实与近似后验得分函数之间差值的期望$L^2$-范数。
• 利用集中与矩不等式，通过Wasserstein距离界控后验均值和协方差估计的期望误差。

实验结果

研究问题

• RQ1 我们能否为贝叶斯后验近似提供既可计算又对均值和不确定性估计有意义的非渐近、有限样本误差界？
• RQ2 如何将计算上可行的Fisher距离与更具可解释性的Wasserstein距离关联起来，以界控后验近似误差？
• RQ3 在对数后验满足正则性条件时，拉普拉斯近似的有限样本收敛速率在Wasserstein距离下如何？
• RQ4 所提出的Fisher距离框架能否应用于其他可扩展推理方法（如变分推理或核密度近似）？
• RQ5 $(p,\nu)$-Fisher距离如何避免Kullback–Leibler散度在评估后验近似质量时的缺陷？

主要发现

• $(p,\nu)$-Fisher距离为真实后验与近似后验分布之间的$p$-Wasserstein距离提供了可计算的上界。
• 在强凸性和后验对数密度三阶导数有界的条件下，拉普拉斯近似的$p$-Wasserstein误差被界为$\frac{1}{2}\|M^\star\|_1 C_1(\lambda) + \frac{1}{6}\|L\|_1 C_2(\lambda)^{3/2}$，其中$C_1, C_2$为拉普拉斯近似方差的矩函数。
• 精确后验与核密度近似之间的$p$-Wasserstein距离可通过Fisher距离界控，且显式依赖于核密度构造与数据几何结构。
• 该框架表明，Wasserstein距离能控制后验均值与协方差估计的误差，使其在不确定性量化方面比Kullback–Leibler散度更具可靠性。
• 该方法实现了对拉普拉斯近似在$p$-Wasserstein距离下的非渐近收敛速率分析，且显式依赖于对数后验的Hessian矩阵与三阶导数的范数。
• 该方法可推广至其他可扩展推理方法，包括变分推理、近似贝叶斯计算以及基于共识的方法。