[论文解读] Automated Scalable Bayesian Inference via Hilbert Coresets

Trevor Campbell, Tamara Broderick|arXiv (Cornell University)|Oct 13, 2017

Gaussian Processes and Bayesian Inference参考文献 52被引用 18

一句话总结

本文提出了希尔伯特压缩集（Hilbert coresets）——一种数据压缩技术，通过在由对数似然函数导出的希尔伯特空间范数下构建数据的加权子集，实现完全自动化、可扩展的贝叶斯推断。该方法利用随机投影自动完成压缩集构建，在多种模型和数据集上显著降低计算成本的同时，提供高质量的后验近似，并具备理论保证。

ABSTRACT

The automation of posterior inference in Bayesian data analysis has enabled experts and nonexperts alike to use more sophisticated models, engage in faster exploratory modeling and analysis, and ensure experimental reproducibility. However, standard automated posterior inference algorithms are not tractable at the scale of massive modern datasets, and modifications to make them so are typically model-specific, require expert tuning, and can break theoretical guarantees on inferential quality. Building on the Bayesian coresets framework, this work instead takes advantage of data redundancy to shrink the dataset itself as a preprocessing step, providing fully-automated, scalable Bayesian inference with theoretical guarantees. We begin with an intuitive reformulation of Bayesian coreset construction as sparse vector sum approximation, and demonstrate that its automation and performance-based shortcomings arise from the use of the supremum norm. To address these shortcomings we develop Hilbert coresets, i.e., Bayesian coresets constructed under a norm induced by an inner-product on the log-likelihood function space. We propose two Hilbert coreset construction algorithms---one based on importance sampling, and one based on the Frank-Wolfe algorithm---along with theoretical guarantees on approximation quality as a function of coreset size. Since the exact computation of the proposed inner-products is model-specific, we automate the construction with a random finite-dimensional projection of the log-likelihood functions. The resulting automated coreset construction algorithm is simple to implement, and experiments on a variety of models with real and synthetic datasets show that it provides high-quality posterior approximations and a significant reduction in the computational cost of inference.

研究动机与目标

• 通过在保持推断质量的同时减小数据规模，解决大规模数据集中自动化贝叶斯推断的可扩展性限制。
• 克服现有压缩集方法依赖上确界范数所带来的性能差和缺乏自动化的问题。
• 开发一种通用、与模型无关的压缩集构建框架，同时保持理论近似保证。
• 实现压缩集构建的完全自动化，无需专家调参，使其适用于广泛的贝叶斯模型。
• 在真实和合成数据集上，展示显著的计算节省与高质量的后验近似。

提出的方法

• 将贝叶斯压缩集构建重新表述为对数似然函数空间中稀疏向量和的近似问题，该空间为希尔伯特空间。
• 引入希尔伯特压缩集，使用对数似然函数空间上内积诱导的范数，替代上确界范数，以提升近似质量。
• 提出两种压缩集构建算法：一种基于重要性采样，另一种基于Frank-Wolfe算法，两者均具有理论近似误差界。
• 通过随机有限维投影对数似然函数实现方法自动化，避免了模型特定的内积计算。
• 使用加权压缩集近似替代完整数据集，可直接用于任何标准自动化推断算法，实现可扩展的后验推断。
• 利用浓度不等式，推导出压缩集近似误差的概率界，作为压缩集大小的函数。

实验结果

研究问题

• RQ1 是否可以在无需模型特定调参的情况下实现贝叶斯压缩集构建的自动化，同时保持理论近似保证？
• RQ2 在对数似然函数上使用希尔伯特空间范数替代上确界范数，是否能提升压缩集的近似质量？
• RQ3 对数似然函数的随机投影是否能实现在多种贝叶斯模型上的可扩展且自动化的压缩集构建？
• RQ4 与均匀子采样和标准压缩集相比，希尔伯特压缩集方法在后验近似准确性和计算效率方面表现如何？
• RQ5 在所提出的希尔伯特压缩集框架中，压缩集大小与近似误差之间的理论关系是什么？

主要发现

• 希尔伯特压缩集方法在真实和合成数据集上的逻辑斯蒂回归、泊松回归和方向聚类模型中，均实现了高质量的后验近似。
• 基于Frank-Wolfe的希尔伯特压缩集构建方法在所有评估的模型和数据集中，均优于子采样技术，包括均匀随机子采样和均匀压缩集。
• 希尔伯特重要性采样压缩集构建方法在后验近似质量上与均匀子采样或均匀压缩集相当或更优，且表现一致提升。
• 在重要性采样和Frank-Wolfe压缩集构建中，2-范数和费雪信息范数表现相似，验证了范数选择的稳健性。
• 理论界表明，近似误差随压缩集大小增加而减小，且通过浓度不等式推导出高概率误差界。
• 该方法将推断的计算成本降低数个数量级，同时保持推断质量，使大规模数据集上的可扩展贝叶斯推断成为可能。