[论文解读] Bounding errors of Expectation-Propagation

Guillaume Dehaene, Simon Barthelmé|arXiv (Cornell University)|Jan 11, 2016

Gaussian Processes and Bayesian Inference参考文献 10被引用 15

一句话总结

本文首次为期望传播（EP）中的近似误差提供了理论边界，表明当样本数 $n$ 增大时，EP 的均值收敛于真实后验的速率为 $\mathcal{O}(n^{-2})$，相比标准的典型高斯近似（CGA）快一个数量级。该分析基于数据点数量 $n$ 的渐近展开，推导出二阶至四阶矩以及超额 Kullback-Leibler 散度的边界，证明了 EP 具有更优的收敛性质。

ABSTRACT

Expectation Propagation is a very popular algorithm for variational inference, but comes with few theoretical guarantees. In this article, we prove that the approximation errors made by EP can be bounded. Our bounds have an asymptotic interpretation in the number $n$ of datapoints, which allows us to study EP's convergence with respect to the true posterior. In particular, we show that EP converges at a rate of $\mathcal{0}(n^{-2})$ for the mean, up to an order of magnitude faster than the traditional Gaussian approximation at the mode. We also give similar asymptotic expansions for moments of order 2 to 4, as well as excess Kullback-Leibler cost (defined as the additional KL cost incurred by using EP rather than the ideal Gaussian approximation). All these expansions highlight the superior convergence properties of EP. Our approach for deriving those results is likely applicable to many similar approximate inference methods. In addition, we introduce bounds on the moments of log-concave distributions that may be of independent interest.

研究动机与目标

• 为变分推断中期望传播（EP）的近似误差提供严格的理论边界。
• 分析当数据点数 $n$ 增大时，EP 相对于真实后验的收敛速率。
• 定量比较 EP 与典型高斯近似（CGA）在变分推断中的性能，后者是标准基准。
• 推导 EP 下二至四阶矩及超额 Kullback-Leibler 散度的渐近展开式。
• 建立可推广的技术，通过渐近误差分析来分析具有类似结构的其他近似推断方法。

提出的方法

• 在大 $n$ 极限下，利用对数密度及其导数的泰勒展开，推导 EP 近似值的渐近展开式。
• 应用 Brascamp-Lieb 型不等式，以界定对数凹分布的矩，这是分析的核心。
• 通过 EP 中的迭代站点近似更新，推导出近似后验的均值、方差及高阶矩的表达式。
• 通过分析 $n^{-1}$ 和 $n^{-2}$ 阶的主导误差项，比较 EP 与 CGA 的矩估计。
• 采用混合近似策略，将站点特定的矩与全局后验关联，实现误差传播分析。
• 证明 EP 与 CGA 的差异主要源于累积量展开中的高阶校正项，且 EP 捕获了 $\mathcal{O}(n^{-2})$ 项。

实验结果

研究问题

• RQ1 当 $n \to \infty$ 时，EP 的均值估计收敛于真实后验均值的渐近收敛速率是多少？
• RQ2 在 $n$ 的尺度下，EP 的近似误差与典型高斯近似（CGA）的误差相比如何定量比较？
• RQ3 EP 相对于理想高斯近似的超额 Kullback-Leibler 散度能否实现渐近边界控制？
• RQ4 EP 对方差、偏度和峰度的估计中，主导阶误差项是什么？
• RQ5 该方法能否推广至其他具有类似结构的变分推断算法，以边界其误差？

主要发现

• EP 的均值近似收敛于真实后验均值的速率为 $\mathcal{O}(n^{-2})$，比 CGA 的 $\mathcal{O}(n^{-1})$ 快一个数量级。
• EP 的方差估计同样以 $\mathcal{O}(n^{-2})$ 速率收敛，与均值收敛速率一致，优于 CGA 的 $\mathcal{O}(n^{-1})$ 行为。
• 对于二至四阶矩，EP 提供了渐近展开式，主导阶误差为 $\mathcal{O}(n^{-2})$，表明其具有稳定的高阶精度。
• EP 相对于理想高斯近似的超额 Kullback-Leibler 散度是有界的，且以 $\mathcal{O}(n^{-2})$ 速率收敛，表明其具有强统计保真度。
• EP 与 CGA 的差异源于高阶累积量校正项，EP 捕获了 CGA 所遗漏的 $\mathcal{O}(n^{-2})$ 项。
• 推导出的对数凹分布矩的边界本身具有独立兴趣，可能适用于其他推断方法。