[论文解读] Model Evidence with Fast Tree Based Quadrature

Thomas H. Foster, Chon Lok Lei+3 more|arXiv (Cornell University)|May 22, 2020

Gaussian Processes and Bayesian Inference参考文献 6被引用 5

一句话总结

本文提出树积分（Tree Quadrature, TQ），一种用于高维积分的新方法，通过使用回归树将采样与积分过程解耦，将积分区域划分为若干容器。TQ 构建被积函数的代理模型，对每个容器独立使用任意方法（如贝叶斯蒙特卡洛）进行积分，并通过优化树结构以最大化积分精度，在维度 4 及以上时，其精度优于蒙特卡洛和 Vegas 方法。

ABSTRACT

High dimensional integration is essential to many areas of science, ranging from particle physics to Bayesian inference. Approximating these integrals is hard, due in part to the difficulty of locating and sampling from regions of the integration domain that make significant contributions to the overall integral. Here, we present a new algorithm called Tree Quadrature (TQ) that separates this sampling problem from the problem of using those samples to produce an approximation of the integral. TQ places no qualifications on how the samples provided to it are obtained, allowing it to use state-of-the-art sampling algorithms that are largely ignored by existing integration algorithms. Given a set of samples, TQ constructs a surrogate model of the integrand in the form of a regression tree, with a structure optimised to maximise integral precision. The tree divides the integration domain into smaller containers, which are individually integrated and aggregated to estimate the overall integral. Any method can be used to integrate each individual container, so existing integration methods, like Bayesian Monte Carlo, can be combined with TQ to boost their performance. On a set of benchmark problems, we show that TQ provides accurate approximations to integrals in up to 15 dimensions; and in dimensions 4 and above, it outperforms simple Monte Carlo and the popular Vegas method.

研究动机与目标

• 为解决贝叶斯推断与物理模拟中因维度灾难导致标准方法失效的高维积分精度挑战。
• 将采样过程与积分过程分离，使 TQ 能够利用最先进的采样器，而不受其设计限制。
• 开发一种可扩展、快速且精确的积分框架，支持任意采样方法及每个容器的任意积分规则。
• 通过分析容器贡献和对移除的敏感性，提供诊断工具以评估积分估计的稳健性与可靠性。

提出的方法

• TQ 使用回归树将 D 维积分区域 Ω 划分为互不相交的容器，分割点通过优化以最大化积分精度。
• 每个容器独立使用任意选定的积分方法（如贝叶斯蒙特卡洛）进行积分，支持与现有技术的混合使用。
• 树结构的构建时间与维度呈线性关系，使其可扩展至高维问题。
• 函数评估点可来自任意分布（如 MCMC、嵌套采样或主动采样），而无需修改核心积分机制。
• TQ 通过容器移除和累积积分追踪实现诊断，可视化估计的稳定性和敏感性。
• 该方法支持基于积分贡献概率加权选择容器，实现对被积函数的近似采样。

实验结果

研究问题

• RQ1 基于树的代理模型能否通过解耦采样与积分过程，提升高维积分的精度？
• RQ2 在高维设置下，TQ 相较于蒙特卡洛和 Vegas 等标准方法表现如何？
• RQ3 TQ 是否能有效利用 MCMC 或嵌套采样等先进采样策略，而无需修改其积分引擎？
• RQ4 TQ 的积分估计在包含或移除特定容器时，其稳健性如何？
• RQ5 基于容器贡献的诊断工具能否可靠地指示积分估计的不稳定或不准确？

主要发现

• TQ 在高达 15 个维度的积分中实现了精确逼近，展示了超越传统积分方法典型限制的可扩展性。
• 在维度 4 及以上时，TQ 在精度和收敛速度上均优于简单的蒙特卡洛和 Vegas 算法。
• 当使用 MCMC 和嵌套采样等高级采样器生成的样本时，该方法性能依然稳健，而这些样本通常与标准积分框架不兼容。
• 通过容器移除的积分估计诊断图显示，当 TQ 可靠时，行为稳定（绿色曲线）；而当出现不稳或发散趋势（红色/橙色曲线）时，表明对特定区域敏感。
• 按容器大小绘制的累积积分图显示，当某些容器贡献显著不均衡时出现急剧跳跃，突显了代理模型中潜在的不准确或不连续性。
• 该框架可通过按积分贡献加权容器实现对被积函数的近似采样，从而促进后验分布探索与模型验证。