[论文解读] Improving Quadrature for Constrained Integrands

Henry Chai, Roman Garnett|arXiv (Cornell University)|Feb 13, 2018

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

本文提出了一种新颖的贝叶斯积分框架，用于对受约束函数（特别是非负或有界函数）进行积分，通过使用对数或平方根等变换来提高精度与效率。该方法在原始空间中而非变换空间中优化超参数，利用边际似然函数，相较于现有方法，在合成数据和真实世界数据上实现了更快的收敛速度和更优的性能表现。

ABSTRACT

We present an improved Bayesian framework for performing inference of affine transformations of constrained functions. We focus on quadrature with nonnegative functions, a common task in Bayesian inference. We consider constraints on the range of the function of interest, such as nonnegativity or boundedness. Although our framework is general, we derive explicit approximation schemes for these constraints, and argue for the use of a log transformation for functions with high dynamic range such as likelihood surfaces. We propose a novel method for optimizing hyperparameters in this framework: we optimize the marginal likelihood in the original space, as opposed to in the transformed space. The result is a model that better explains the actual data. Experiments on synthetic and real-world data demonstrate our framework achieves superior estimates using less wall-clock time than existing Bayesian quadrature procedures.

研究动机与目标

• 开发一种适用于受约束函数（如非负函数或有界函数）的一般性贝叶斯积分框架，此类函数在贝叶斯推断中常见。
• 解决现有贝叶斯积分方法在处理具有高动态范围的函数（如似然曲面）时的局限性。
• 通过在原始函数空间中最大化边际似然而非在变换空间中，改进超参数学习，从而实现更好的模型校准。
• 为受约束条件下的积分提供闭式近似解，避免昂贵的数值积分，实现高效且精确的计算。

提出的方法

• 该框架在被积函数的变换版本（如对数或平方根）上使用高斯过程先验，以强制实现非负性等约束。
• 利用截断多变量正态分布，推导出积分后验矩的闭式表达式，从而实现期望与方差的解析计算。
• 采用一种新颖的超参数优化方法，最大化观测函数值在原始空间中的边际似然，而非在变换空间中。
• 对于具有高动态范围的非负函数，推荐使用对数变换以稳定方差并改善数值条件。
• 通过在高斯过程后验中应用适当的变换与截断，该方法可扩展至有界函数。
• 理论推导基于多变量正态分布的性质及累积分布函数，用于计算截断正态分布的矩。

实验结果

研究问题

• RQ1 能否为受约束函数（如非负或有界函数）开发一个统一的贝叶斯积分框架，超越简单的非负性约束？
• RQ2 在原始函数空间而非变换空间中优化超参数，对模型性能与校准有何影响？
• RQ3 使用对数变换对具有高动态范围的积分（如似然函数）有何影响？
• RQ4 能否在各种约束条件下推导出积分后验矩的闭式近似解，以避免昂贵的数值积分？
• RQ5 与现有贝叶斯积分方法及蒙特卡洛方法相比，该方法在精度与计算效率方面表现如何？

主要发现

• 所提方法在具有高动态范围的被积函数（如似然曲面）上，相比现有贝叶斯积分方法，实现了更优的估计精度。
• 通过在原始空间中优化超参数，模型能更好地解释实际数据，避免了在变换空间中优化时出现的不良行为。
• 该框架显著减少了运行时间，同时保持或提升了精度，优于蒙特卡洛方法与贝叶斯蒙特卡洛方法。
• 对数变换的使用使得该方法能有效处理具有极端动态范围的函数，而此前的方法（如[9]）无法处理此类情况。
• 推导出了在约束条件下积分后验矩的闭式表达式，实现了无需数值近似的高效且精确的计算。
• 在真实世界数据上的实验表明，该方法能更准确、更可靠地估计模型证据与预测分布。