[论文解读] Bayesian Quadrature for Multiple Related Integrals

Xiaoyue Xi, François‐Xavier Briol+1 more|arXiv (Cornell University)|Jan 12, 2018

Advanced Multi-Objective Optimization Algorithms被引用 5

一句话总结

本文提出了一种贝叶斯积分法的新型扩展，通过使用多输出高斯过程联合建模多个相关函数，实现对多个相关积分的同时计算。该方法通过在被积函数之间传递信息，提升了数值效率和不确定性量化能力，在模型设定正确的情况下，后验方差的收敛速率为 $\mathcal{O}_P(N^{-3/4})$，在多保真度建模和全局光照问题中表现出显著优势。

ABSTRACT

Bayesian probabilistic numerical methods are a set of tools providing posterior distributions on the output of numerical methods. The use of these methods is usually motivated by the fact that they can represent our uncertainty due to incomplete/finite information about the continuous mathematical problem being approximated. In this paper, we demonstrate that this paradigm can provide additional advantages, such as the possibility of transferring information between several numerical methods. This allows users to represent uncertainty in a more faithful manner and, as a by-product, provide increased numerical efficiency. We propose the first such numerical method by extending the well-known Bayesian quadrature algorithm to the case where we are interested in computing the integral of several related functions. We then prove convergence rates for the method in the well-specified and misspecified cases, and demonstrate its efficiency in the context of multi-fidelity models for complex engineering systems and a problem of global illumination in computer graphics.

研究动机与目标

• 为解决经典贝叶斯积分法在同时处理多个相关积分时的局限性。
• 开发一种联合的贝叶斯数值方法，通过在多个被积函数之间传递信息，提升有限样本下的性能。
• 为在模型设定正确与错误先验条件下，多个积分的联合推断提供理论收敛保证。
• 在多保真度建模和计算机图形学等实际应用中，展示该方法的优越性。
• 探索矩阵值核与高效采样策略在多输出积分中的潜力。

提出的方法

• 通过使用具有可分核的多输出高斯过程先验，将标准贝叶斯积分法扩展为联合建模多个被积函数 $f_1, \ldots, f_D$ 的方法。
• 采用零均值高斯过程先验，其协方差函数为矩阵值形式 $\bm{C}(\bm{x}, \bm{x}') = \bm{K} \otimes c(\bm{x}, \bm{x}')$，其中 $\bm{K}$ 用于捕捉函数间的相关性，$c$ 为标量核函数。
• 通过在设计点 $\bm{X}$ 处的函数取值对高斯过程进行条件化，推导出每个积分 $\Pi[f_d]$ 的后验分布，从而在积分值上得到一个多元正态后验分布。
• 利用涉及核矩阵 $\bm{C}(\bm{X}, \bm{X})$ 和观测函数值 $f(\bm{X})$ 的闭式表达式，计算后验均值与方差。
• 采用低秩近似与高效的线性代数技术，使该方法可扩展至大规模 $D$ 和 $N$ 的情形。
• 采用 LMC（核心区域线性模型）核结构，对多输出高斯过程中的函数间依赖关系进行建模。

实验结果

研究问题

• RQ1 贝叶斯积分法能否被扩展为联合估计多个相关积分，以提升数值精度与不确定性量化能力？
• RQ2 在多输出设置下，每个积分的后验方差可建立怎样的理论收敛速率？
• RQ3 该方法的性能如何依赖于核结构的选择，特别是可分核与 LMC 核？
• RQ4 与独立贝叶斯积分法或蒙特卡洛方法相比，该方法在高维、强相关积分问题中是否能实现显著的计算效率提升？
• RQ5 在实际应用中，被积函数之间的信息共享对后验方差与积分误差有何影响？

主要发现

• 在可分核设定下，所提出的多输出贝叶斯积分法对每个积分的后验方差收敛速率达到 $\mathcal{O}_P(N^{-3/4})$，优于某些场景下的标量贝叶斯积分法。
• 当输出数量 $D$ 增加时，积分误差显著降低，五输出贝叶斯积分法在全局光照问题上的误差明显低于单输出贝叶斯积分法。
• 由于信息共享，多输出情形下各积分的后验方差更小，反映出认知不确定性降低。
• 该方法在多保真度建模中表现出显著性能优势，可同时集成多个相关模型。
• 在计算机图形学中，该方法可实现全局光照问题中数千个每像素相关积分的更快收敛，且具备预计算权重的潜力。
• 使用 LMC 等矩阵值核可对积分间相关性进行结构化建模，仅带来极小的额外计算成本，即可显著提升精度。