[论文解读] Frank-Wolfe Bayesian Quadrature: Probabilistic Integration with Theoretical Guarantees

François‐Xavier Briol, Chris J. Oates+2 more|arXiv (Cornell University)|Jun 8, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用 43

一句话总结

本文提出弗兰克-沃尔夫贝叶斯积分法（FWBQ），一种新颖的概率积分方法，结合贝叶斯积分与弗兰克-沃尔夫优化，实现指数级收敛速率和超指数级后验收缩。该方法首次为概率积分器提供了理论保证，证明了严格收敛性，同时在复杂计算流程中保持了数值误差的不确定性量化。

ABSTRACT

There is renewed interest in formulating integration as an inference problem, motivated by obtaining a full distribution over numerical error that can be propagated through subsequent computation. Current methods, such as Bayesian Quadrature, demonstrate impressive empirical performance but lack theoretical analysis. An important challenge is to reconcile these probabilistic integrators with rigorous convergence guarantees. In this paper, we present the first probabilistic integrator that admits such theoretical treatment, called Frank-Wolfe Bayesian Quadrature (FWBQ). Under FWBQ, convergence to the true value of the integral is shown to be exponential and posterior contraction rates are proven to be superexponential. In simulations, FWBQ is competitive with state-of-the-art methods and out-performs alternatives based on Frank-Wolfe optimisation. Our approach is applied to successfully quantify numerical error in the solution to a challenging model choice problem in cellular biology.

研究动机与目标

• 为解决现有贝叶斯积分方法缺乏理论收敛保证的问题，尽管其表现出强劲的实验性能，但这一缺陷限制了其应用。
• 通过开发一种确保收敛与后验集中性的方法，弥合概率积分与严谨理论分析之间的差距。
• 通过将弗兰克-沃尔夫优化与贝叶斯积分的不确定性量化相结合，提升数值积分的收敛速度与精度。
• 实现在复杂计算流程中可靠传播数值误差，尤其在高风险科学应用中。
• 在真实世界问题（如细胞生物学中的模型选择）中展示该方法的有效性，其中数值误差可能导致昂贵资源的误分配。

提出的方法

• FWBQ 将贝叶斯积分建模为凸优化问题，利用弗兰克-沃尔夫算法迭代选择最优求积点与权重。
• 通过在被积函数上设定高斯过程先验，并利用在选定点上的函数评估值更新后验分布，构建对积分值的后验分布。
• 该方法使用基于核的再生核希尔伯特空间（RKHS）来建模被积函数，核函数的选择反映光滑性假设。
• 弗兰克-沃尔夫算法选择设计点并计算权重，以最小化最坏情况下的积分误差，从而确保快速收敛。
• 应用随机傅里叶特征来近似核函数，将计算成本从 O(n³) 降低至 O(nD²)，同时保持理论性质。
• 该算法设计确保后验分布以超指数速率收缩至真实积分值。

实验结果

研究问题

• RQ1 能否开发一种概率积分器，将贝叶斯积分的不确定性量化能力与经典方法的理论收敛保证相结合？
• RQ2 在概率积分中，后验分布的收敛速率（尤其是后验收缩速率）可被证明为何种程度？
• RQ3 弗兰克-沃尔夫优化能否被有效整合到贝叶斯积分中，以在保持理论严谨性的同时加速收敛？
• RQ4 使用随机傅里叶特征如何影响所得求积规则的收敛性与精度？
• RQ5 FWBQ 是否能在理论收敛性与实际性能上均超越现有方法，在具有挑战性的积分问题上表现更优？

主要发现

• FWBQ 实现了最坏情况积分误差的指数级收敛速率，显著优于基于标准弗兰克-沃尔夫的求积方法。
• 后验分布以超指数速率收缩至真实积分值，为不确定性量化的理论合理性提供了强有力支持。
• 在模拟实验中，FWBQ 与最先进方法具有竞争力，并在收敛速度上优于其他基于弗兰克-沃尔夫的替代方法。
• 当 D=5000 时，使用随机傅里叶特征可使收敛速率接近精确核的性能，表明其具备良好的可扩展性。
• 当 D=1000 时，性能显著下降，原因在于权重近似质量较差，凸显了足够特征数量的重要性。
• FWBQ 在细胞生物学中一个具有挑战性的贝叶斯模型选择问题中成功量化了数值误差，展示了其在真实世界应用中的可行性。