[论文解读] Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination

Masaki Adachi, Satoshi Hayakawa+3 more|arXiv (Cornell University)|Jun 9, 2022

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出批量自适应稀疏求积法（BASQ），一种快速、可并行的贝叶斯求积方法，通过核重组实现对后验分布和模型证据的高效、高样本效率推断。通过线性化重要性提议对核基求积点进行重加权与重组，BASQ 实现了指数收敛速率，并在包括锂离子电池分析在内的真实数据集上优于批量 WSABI 和嵌套采样方法。

ABSTRACT

Calculation of Bayesian posteriors and model evidences typically requires numerical integration. Bayesian quadrature (BQ), a surrogate-model-based approach to numerical integration, is capable of superb sample efficiency, but its lack of parallelisation has hindered its practical applications. In this work, we propose a parallelised (batch) BQ method, employing techniques from kernel quadrature, that possesses an empirically exponential convergence rate. Additionally, just as with Nested Sampling, our method permits simultaneous inference of both posteriors and model evidence. Samples from our BQ surrogate model are re-selected to give a sparse set of samples, via a kernel recombination algorithm, requiring negligible additional time to increase the batch size. Empirically, we find that our approach significantly outperforms the sampling efficiency of both state-of-the-art BQ techniques and Nested Sampling in various real-world datasets, including lithium-ion battery analytics.

研究动机与目标

• 为解决贝叶斯求积（BQ）中缺乏并行化的问题，尽管其具有高样本效率，但该问题限制了其实际应用。
• 实现在单次计算中同时推断后验分布和模型证据，避免重复进行昂贵的评估。
• 克服现有批量 BQ 方法（如批量 WSABI）的低效性，后者依赖计算量大的多起点优化，并易受局部峰值聚集的影响。
• 开发一种可扩展的稀疏采样策略，在增加批量大小时保持高精度且计算开销极小。
• 通过核重组与基于 Nystroem 的测试函数，实现在贝叶斯推断中数值积分的指数收敛速率。

提出的方法

• 提出一种核重组框架（RCHQ），构建线性化重要性提议分布 $ g(x) = (1-r)\pi(x) + rA(x) $，通过混合先验与 GP 方差来引导批量选择。
• 从提议 $ g(x) $ 中进行子采样以形成经验测度，实现高效且稳健的求积点选择。
• 应用 Nystroem 方法从子采样点构建有限测试函数，实现可处理的最坏情况误差最小化。
• 仅通过一次线性规划（LP）求解器迭代，重新组合核权重并选择 $ n $ 个批量点，以最小化最坏情况积分误差。
• 引入一种稀疏重组算法，可在几乎不增加计算成本的情况下实现动态批量大小扩展。
• 利用平方指数核与高斯先验下高斯过程的解析可处理性，精确计算积分的均值与方差。

实验结果

研究问题

• RQ1 核重组能否在实践中实现一种并行贝叶斯求积方法，达到指数收敛速率？
• RQ2 在批量点选择中，核重组与局部惩罚和多起点优化相比表现如何？
• RQ3 单一推理流程能否以高效率同时估计模型证据与后验分布？
• RQ4 所提方法在真实世界、高维数据集上相较于最先进 BQ 与嵌套采样方法的性能优势有多大？
• RQ5 在维度增加与似然评估存在噪声的情况下，核重组方法的可扩展性与鲁棒性如何？

主要发现

• BASQ 在数值积分中实现了经验上的指数收敛速率，显著优于批量 WSABI 与嵌套采样方法，在运行时间和样本效率方面表现更优。
• 核重组方法选择的批量点更稀疏、分布更优，相比批量 WSABI 中的局部惩罚方法，避免了在高方差峰值区域的聚集，从而降低了积分误差。
• 得益于一种重用已有计算的稀疏重组算法，该方法可实现几乎无额外成本的动态批量大小扩展。
• 在锂离子电池分析数据上，BASQ 表现优于最先进 BQ 与嵌套采样方法，收敛更快且误差更低。
• 采用线性化重要性提议分布减少了对早期阶段不确定性估计的依赖，提升了批量选择的鲁棒性与稳定性。