[论文解读] Computing the quality of the Laplace approximation

Guillaume Dehaene|arXiv (Cornell University)|Nov 24, 2017

Geometric Analysis and Curvature Flows参考文献 2被引用 7

一句话总结

本文提出了一种可计算的 Kullback-Leibler (KL) 散度上界，用于衡量对数凹后验密度与其 Laplace 近似之间的差异，该上界通过变量变换和矩不等式推导得出。该上界仅依赖于后验密度在众数处的三阶导数，且在高维逻辑斯蒂回归中表现出近乎精确的结果，为评估 Laplace 近似质量提供了一种实用工具，无需蒙特卡洛估计。

ABSTRACT

Bayesian inference requires approximation methods to become computable, but for most of them it is impossible to quantify how close the approximation is to the true posterior. In this work, we present a theorem upper-bounding the KL divergence between a log-concave target density $f\left(\boldsymbolθ ight)$ and its Laplace approximation $g\left(\boldsymbolθ ight)$. The bound we present is computable: on the classical logistic regression model, we find our bound to be almost exact as long as the dimensionality of the parameter space is high. The approach we followed in this work can be extended to other Gaussian approximations, as we will do in an extended version of this work, to be submitted to the Annals of Statistics. It will then become a critical tool for characterizing whether, for a given problem, a given Gaussian approximation is suitable, or whether a more precise alternative method should be used instead.

研究动机与目标

• 为对数凹目标密度与其 Laplace 近似之间的 KL 散度提供一种可计算的、非渐近的上界。
• 为模型用户提供一种实用准则，以判断在给定贝叶斯模型中 Laplace 近似是否足够精确，而无需依赖渐近理论。
• 克服现有 Bernstein-von Mises 定理的局限性，这些定理多为定性描述且涉及不可计算的项。
• 使模型构建者能够判断何时应采用比 Laplace 近似更精确的方法。
• 通过用可观测的、可计算的量来量化高斯近似的误差，扩展高斯近似的适用范围。

提出的方法

• 在对数凹性假设下，通过将变量变换为球坐标系，推导出一种确定性的 Bernstein-von Mises 型定理。
• 应用矩不等式和对数 Sobolev 不等式，基于对数密度的三阶导数张量来界定 KL 散度。
• 使用对数似然在众数处的三阶导数表达该上界，并通过逆 Hessian 矩阵进行缩放。
• 通过变换重新参数化众数附近的参数空间，使在 Laplace 近似下能够计算矩。
• 使用马尔可夫链蒙特卡洛（MCMC）抽样近似真实 KL 散度，以在逻辑斯蒂回归模型上验证该上界。
• 仅使用最大后验估计（MAP）处的 Hessian 矩阵和三阶导数来计算该上界。

实验结果

研究问题

• RQ1 能否在不依赖渐近假设的前提下，推导出对数凹后验与 Laplace 近似之间 KL 散度的可计算上界？
• RQ2 该上界在实际中有多紧致，特别是在高维模型（如逻辑斯蒂回归）中？
• RQ3 对数密度在众数处的三阶导数在多大程度上可预测 Laplace 近似的质量？
• RQ4 该上界能否作为实用诊断工具，帮助判断何时应使用更精确的近似方法？
• RQ5 当后验并非强对数凹，仅是对数凹时，该上界是否仍保持准确？

主要发现

• 所提出的 KL 散度上界仅需使用 MAP 估计处的 Hessian 矩阵和三阶导数即可计算。
• 在高维逻辑斯蒂回归中，该上界几乎精确，上界与真实 KL 散度之间的差距极小。
• 该上界主要由经逆 Hessian 缩放后的对数密度三阶导数决定，且依赖于参数空间的维度。
• 只要后验是对数凹的，即使不是强对数凹，该上界仍保持紧致。
• 该方法实现了对 Laplace 近似质量的实用、非渐近评估，避免了验证过程中对蒙特卡洛估计的依赖。
• 通过 MCMC 近似真实 KL 散度对上界进行了验证，在高维设置下显示出高度一致的结果。