[论文解读] Efficient Monte Carlo Integration Using Boosted Decision Trees and Generative Deep Neural Networks

J. Bendavid|arXiv (Cornell University)|Jun 30, 2017

Reservoir Engineering and Simulation Methods被引用 84

一句话总结

本文提出基于ML的蒙特卡罗积分方法，使用提升决策树和生成式深度神经网络来提高对非因子化被积函数的积分精度，具有分阶段变体并与VEGAS和FOAM进行比较。

ABSTRACT

New machine learning based algorithms have been developed and tested for Monte Carlo integration based on generative Boosted Decision Trees and Deep Neural Networks. Both of these algorithms exhibit substantial improvements compared to existing algorithms for non-factorizable integrands in terms of the achievable integration precision for a given number of target function evaluations. Large scale Monte Carlo generation of complex collider physics processes with improved efficiency can be achieved by implementing these algorithms into commonly used matrix element Monte Carlo generators once their robustness is demonstrated and performance validated for the relevant classes of matrix elements.

研究动机与目标

• 在因子化受限的密集对撞机物理相空间中，推动高效的多维积分。
• 开发两种基于ML的积分框架：梯度提升决策树（BDTs）和生成式深度神经网络（DNNs）。
• 证明相比传统的 VEGAS/FOAM 方法，在每次函数评估上的积分精度有所提升。
• 提供实用的训练与采样方案，包括非负权重约束和分阶段积分选项。
• 在多维 camel 函数上评估性能，以基准化维度带来的可扩展性。

提出的方法

• 构建一个梯度提升的决策树序列，用非重叠的超立方体近似 f(x) 并学习积分权重。
• 强制非负权重以实现高效采样，并引入一个并行的 BDT h(x)，使 e^{h(x)} ≈ f(x) 以帮助收敛。
• 定义在对数空间中反映残差的损失函数 L_i，以及用于稳定训练并确保非负性的回归损失 L_h。
• 迭代训练树，并通过从 g(x) 采样并评估 f(x) 来扩充训练数据，以改进积分估计。
• 开发一个生成式 DNN 方法，其中一个深度变换器 G 将先验 z 映射到 x，p_g(x) 与 G 的雅可比相关，通过在 p_g 与 p_f 之间最小化 KL 发散 D_KL 进行优化；同时训练一个回归模型 h(x) 作为 f(x) 的代理。
• 实现分阶段方法，将回归近似与从 g(x) 的采样相结合，以提高效率。
• 提供实用实现细节，包括 Python/Numpy/TensorFlow/Keras、网络结构、激活函数和训练策略（批量大小、学习率计划、早停等）。

实验结果

研究问题

• RQ1 结合非负权重约束的提升决策树是否能在非因子化被积函数上比 VEGAS/FOAM 提高蒙特卡罗积分效率？
• RQ2 生成式深度神经网络在高维情形下，是否提供与 BD Ts 相当或更优的积分性能？
• RQ3 有哪些有效的损失函数和训练方案，能够确保鲁棒的非负采样和ML积分器的快速收敛？
• RQ4 在固定的函数评估次数下，分阶段积分（使用回归代理或生成模型）如何影响精度？
• RQ5 相对于 VEGAS 和 FOAM，这些基于ML的方法在维度扩展时（4D、9D camel 函数）如何扩展？

主要发现

• 基于 ML 的积分方法（BDT 与 DNN）在非因子化 camel 函数上实现显著更低的权重方差，相对于 VEGAS。
• 在 4D 下，生成式 BD T 和生成式 DNN 在每次函数评估的精度大约比 VEGAS 提升约四倍，分阶段变体进一步带来收益。
• 在 9D 中，基于 DNN 的方法优于 BDT，呈现更好的维度扩展性并实现比 VEGAS 和非分阶段方法更低的权重方差。
• 使用回归代理（e^{h(x)}）的分阶段积分在给定评估次数下通常能获得更高的精度，特别是在高维场景。
• 在 4D 上，分阶段生成式 DNN 使用额外 2e6 次采样时权重方差约为 0.030，明显优于 VEGAS（2.0e6 次采样，0.082）和 FOAM（0.319）。
• 在 9D，分阶段生成式 DNN 的权重方差可低至 0.081（9D，2e6 次采样），相比 VEGAS（1.5e6 次采样，19）更好。