[论文解读] Hierarchical Neural Simulation-Based Inference Over Event Ensembles

L. Heinrich, Siddharth Mishra-Sharma+2 more|arXiv (Cornell University)|Jun 21, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

该论文提出了一种分层神经模拟推断框架，利用数据集级别的学习来改进具有不可计算似然的模型中的参数估计，通过深度集合（deep sets）和归一化流（normalizing flows）联合推断事件集合中的全局与局部参数。该方法在速度和一致性上优于MCMC，并支持流式场景下的实时更新。

ABSTRACT

When analyzing real-world data it is common to work with event ensembles, which comprise sets of observations that collectively constrain the parameters of an underlying model of interest. Such models often have a hierarchical structure, where "local" parameters impact individual events and "global" parameters influence the entire dataset. We introduce practical approaches for frequentist and Bayesian dataset-wide probabilistic inference in cases where the likelihood is intractable, but simulations can be realized via a hierarchical forward model. We construct neural estimators for the likelihood(-ratio) or posterior and show that explicitly accounting for the model's hierarchical structure can lead to significantly tighter parameter constraints. We ground our discussion using case studies from the physical sciences, focusing on examples from particle physics and cosmology.

研究动机与目标

• 为了解决现有模拟推断方法将单个事件孤立处理、忽略事件集合分层结构的局限性。
• 开发一种统一框架，用于隐式模型中的数据集级别推断，其中似然不可计算但可进行前向模拟。
• 通过显式建模影响所有事件的全局参数与影响单个事件的局部参数之间的相互作用，提升参数约束的准确性。
• 实现高效的摊销推断，支持新数据到达时的实时更新，而无需对完整数据集重新训练。
• 在真实世界科学领域（包括粒子物理和天体物理）中展示该方法，涵盖贝叶斯与频率学派推断范式。

提出的方法

• 使用深度集合架构建模事件集合的置换等变表示，支持可变大小数据集的联合推断。
• 采用归一化流作为全局与局部参数的摊销后验估计器，共享嵌入由完整数据集条件化。
• 在频率学派设定中应用分层似然比估计器，通过在参数扰动的模拟数据集上进行二分类训练。
• 集成全局与事件级编码器：前者聚合事件级特征以估计全局参数，后者编码单个事件数据。
• 使用联合优化目标，结合来自全局与局部归一化流的对数似然，训练端到端模型。
• 通过将全局解码器条件化于集合中事件的数量，支持不同数据集基数，实现跨不同大小数据集的泛化。

实验结果

研究问题

• RQ1 尊重事件集合分层结构的数据集级别推断，是否能比事件级别推断带来更紧密、更准确的参数约束？
• RQ2 模拟推断如何适应可变大小的事件集合，同时保持统计效率与可扩展性？
• RQ3 在似然不可计算的情况下，神经网络估计的似然比或后验是否能在速度与准确性上显著优于传统MCMC方法？
• RQ4 所提出的框架能否支持流式数据场景下的实时推断，即在新事件到达时逐步更新后验估计？
• RQ5 在真实物理科学问题（如粒子对撞机数据与引力透镜）上，该方法与现有SBI技术相比性能如何？

主要发现

• 所提出的分层神经模拟推断框架由于采用摊销学习与端到端训练，即使在似然可计算的情况下，其推断速度也显著快于MCMC。
• 显式建模全局与局部参数的分层结构，相比将事件独立处理，能带来更紧密的后验约束与更高的推断准确性。
• 该方法支持流式模式下的实时推断，可在新数据到达时高效更新后验，而无需重新处理整个数据集。
• 在粒子物理案例研究中，通过深度集合训练的频率学派似然比估计器实现了高统计效能，且校准需求极低，优于标准的轮廓似然方法。
• 在强引力透镜的天体物理案例研究中，基于归一化流的后验估计器能高保真地恢复全局参数（α, β）与局部图像参数（θ_E, Δx, Δy, q），即使在噪声大且复杂的图像数据下亦表现优异。
• 该框架在不同基数的数据集上具有泛化能力，通过在不同大小的集合上进行训练，并在保留的测试集上保持一致的性能表现。