[论文解读] Bayesian Coreset Construction via Greedy Iterative Geodesic Ascent

Trevor Campbell, Tamara Broderick|arXiv (Cornell University)|Feb 5, 2018

Gaussian Processes and Bayesian Inference参考文献 26被引用 17

一句话总结

本文提出了一种新型贝叶斯共核集构建算法——贪婪迭代测地上升（GIGA），通过最优地缩放共核集对数似然以最小化后验近似误差。通过在对数似然向量流形上进行测地上升，GIGA 实现了误差随共核集大小呈几何衰减，与先前方法相比，将后验不确定性近似误差降低了数量级，同时保持了快速计算效率。

ABSTRACT

Coherent uncertainty quantification is a key strength of Bayesian methods. But modern algorithms for approximate Bayesian posterior inference often sacrifice accurate posterior uncertainty estimation in the pursuit of scalability. This work shows that previous Bayesian coreset construction algorithms---which build a small, weighted subset of the data that approximates the full dataset---are no exception. We demonstrate that these algorithms scale the coreset log-likelihood suboptimally, resulting in underestimated posterior uncertainty. To address this shortcoming, we develop greedy iterative geodesic ascent (GIGA), a novel algorithm for Bayesian coreset construction that scales the coreset log-likelihood optimally. GIGA provides geometric decay in posterior approximation error as a function of coreset size, and maintains the fast running time of its predecessors. The paper concludes with validation of GIGA on both synthetic and real datasets, demonstrating that it reduces posterior approximation error by orders of magnitude compared with previous coreset constructions.

研究动机与目标

• 为解决现有贝叶斯共核集方法中对数似然缩放不充分的问题，该问题导致后验方差被低估。
• 开发一种共核集构建算法，在保持后验近似误差理论保证的同时实现高效缩放。
• 实现后验近似误差随共核集大小呈几何衰减，确保在各类模型中相对误差始终有界。
• 提供一种在合成数据和真实世界贝叶斯推断任务中均优于先前共核集构建方法的方案。

提出的方法

• GIGA 将共核集构建建模为对数似然函数空间中带基数约束的向量逼近问题。
• 通过贪婪迭代测地上升，逐步选择数据点并更新权重，以最大化与全数据对数似然向量之间的测地距离。
• 该算法在对数似然向量的流形上运行，确保在黎曼几何框架下与全数据似然最优对齐。
• 在每一步中，GIGA 通过在单位球面上的约束优化计算最优权重更新，从而保持似然空间的几何结构。
• 通过避免计算完整的海塞矩阵，仅依赖局部测地近似，保持了计算效率。
• 该方法确保共核集对数似然被最优缩放以匹配全数据对数似然，防止人为的数据膨胀。

实验结果

研究问题

• RQ1 现有贝叶斯共核集方法是否因对数似然缩放不充分而系统性地低估后验方差？
• RQ2 是否存在一种几何框架，可实现最优共核集构建并具有可证明更优的后验近似误差？
• RQ3 在似然流形上采用贪婪算法是否能实现后验近似误差随共核集大小增加而呈指数衰减？
• RQ4 最优对数似然缩放是否能在各类统计模型中实现始终有界的相对误差？
• RQ5 在后验精度与计算成本方面，GIGA 与先前共核集方法相比在实证上表现如何？

主要发现

• 在合成数据和真实数据集上，GIGA 相较于先前的共核集构建方法，将后验近似误差降低了数量级。
• 如定理 3.1 和 3.2 所证明，该算法实现了后验近似误差随共核集大小呈几何（指数）衰减。
• 与先前方法不同，GIGA 在所有模型中均保持了有界的相对误差，即使在共核集规模较小时亦如此。
• GIGA 的最优对数似然缩放防止了人为数据膨胀，从而实现了更精确的不确定性量化。
• 在回归模型和合成向量逼近问题上的实证验证确认了 GIGA 在保持后验方差方面的优越性能。
• 该方法在保持与最先进共核集算法相同计算复杂度的同时，显著提升了后验精度。