[论文解读] Improvements to Inference Compilation for Probabilistic Programming in Large-Scale Scientific Simulators

Mario Lezcano Casado, Atılım Güneş Baydin+9 more|arXiv (Cornell University)|Dec 21, 2017

Particle physics theoretical and experimental studies参考文献 16被引用 7

一句话总结

该论文介绍了CPProb，一个C++14概率编程库，可为高能物理中的大型科学模拟器（如SHERPA）实现高效的推理编译。通过仅对C++代码进行最小修改的代码注入，CPProb支持使用学习到的提议网络进行重要性采样，将平均执行轨迹长度从无界减少至8.37，从而在常见衰变通道上实现了60–90%准确率的希格斯玻色子性质后验推断。

ABSTRACT

We consider the problem of Bayesian inference in the family of probabilistic models implicitly defined by stochastic generative models of data. In scientific fields ranging from population biology to cosmology, low-level mechanistic components are composed to create complex generative models. These models lead to intractable likelihoods and are typically non-differentiable, which poses challenges for traditional approaches to inference. We extend previous work in "inference compilation", which combines universal probabilistic programming and deep learning methods, to large-scale scientific simulators, and introduce a C++ based probabilistic programming library called CPProb. We successfully use CPProb to interface with SHERPA, a large code-base used in particle physics. Here we describe the technical innovations realized and planned for this library.

研究动机与目标

• 在具有不可计算似然函数和非可微组件的大规模科学模拟器中实现贝叶斯推断。
• 将推理编译扩展至复杂、生产级的C++模拟器（如高能物理中使用的SHERPA和GEANT）。
• 为将概率编程集成到现有C++模拟代码库中，开发一种最小侵入式接口。
• 解决粒子物理中常见算法（如拒绝采样）存在的无界执行轨迹问题。
• 通过轨迹检查与调试工具，支持可解释、高保真的后验抽样。

提出的方法

• CPProb采用通用概率编程方法，通过重定向随机数生成并添加注解，无需重写代码即可在现有C++模拟器中实现推理。
• 该库引入了三个核心函数：sample（用于随机选择）、observe（用于基于数据的条件化）和predict（用于报告隐变量）。
• 通过静态类型地址追踪执行轨迹，这些地址编码计算结构中的位置信息，支持轨迹重建与调试。
• 推理采用顺序重要性采样（SIS），并使用深度神经网络学习提议分布，以提高采样效率。
• 开发了一种新型代码注解方案，用于处理拒绝采样中无界长度轨迹的问题，使此前难以处理的场景得以实现训练与推理。
• 开发了一款概率模型调试工具，将执行轨迹可视化为地址序列图，可识别模拟器代码中导致长轨迹的根源。

实验结果

研究问题

• RQ1 推理编译能否有效扩展至高能物理中使用的大型、生产级C++模拟器？
• RQ2 如何在现有复杂模拟器中以最小代码修改实现概率编程集成？
• RQ3 哪些技术可缓解粒子物理中无似然推断的无界执行轨迹挑战？
• RQ4 学习到的提议网络在高维、非可微模型中提升后验推断采样效率方面的效果如何？
• RQ5 轨迹检查与调试工具能否提升复杂模拟器中推理的可靠性与可解释性？

主要发现

• 在SHERPA τ衰变模拟器中，应用新型拒绝采样注解方案后，平均执行轨迹长度从无界减少至8.37。
• 记录到的最长执行轨迹减少至42步，使推理网络的训练成为可能。
• 使用基础相似性核的ABC方法，初始后验推断在最常见τ衰变通道上实现了60–90%的准确率。
• 概率模型调试工具成功识别出长轨迹的根源，精确定位到SHERPA代码库中特定的随机数生成调用。
• 地址序列图表示法清晰可视化了概率执行流程，支持模型检查与验证。
• 本工作证明了将推理编译应用于实际、高性能科学模拟器（代码量超过100万行）的可行性。