[论文解读] Event Generation and Density Estimation with Surjective Normalizing Flows

Rob Verheyen|arXiv (Cornell University)|May 3, 2022

Particle physics theoretical and experimental studies参考文献 61被引用 46

一句话总结

该论文引入了满射和随机归一化流层，以增强粒子物理事例生成与密度估计中的归一化流模型。通过引入排列不变性、基于变分去量化和最大值映射的离散特征建模，以及利用满射变换处理可变事例维度，该方法在保持精确似然评估的同时，能够建模复杂的真实世界事例特征。该方法在Dark Machines异常检测挑战中实现了最先进性能，尤其在未见的复杂信号上表现突出。

ABSTRACT

Normalizing flows are a class of generative models that enable exact likelihood evaluation. While these models have already found various applications in particle physics, normalizing flows are not flexible enough to model many of the peripheral features of collision events. Using the framework of Nielsen et al. (2020), we introduce several surjective and stochastic transform layers to a baseline normalizing flow to improve modelling of permutation symmetry, varying dimensionality and discrete features, which are all commonly encountered in particle physics events. We assess their efficacy in the context of the generation of a matrix element-level process, and in the context of anomaly detection in detector-level LHC events.

研究动机与目标

• 为解决标准归一化流在建模LHC碰撞事例关键特征（如排列不变性、离散特征和可变维度）方面的僵化性。
• 通过引入满射和随机变换扩展归一化流，以在保持精确似然评估的同时提升建模能力。
• 在高能物理的矩阵元级别事例生成和探测器级别异常检测任务中评估所提出的框架。
• 比较不同满射变换策略（随机排列、排序映射、变分去量化、最大值映射和因子化模型）在真实世界粒子物理任务中的性能。

提出的方法

• 在归一化流中引入满射和随机变换层，允许非双射、非可逆变换，同时保持似然评估的可处理性。
• 采用变分推理框架建模潜在变量，结合变分自编码器（VAE）的表达能力与归一化流的精确似然优势。
• 使用随机排列层强制多对象事例的排列不变性，同时采用排序映射等替代方案以提升训练稳定性。
• 应用变分去量化和最大值映射以建模粒子类型或量子数等离散特征。
• 开发具有趋近于零边界松散度的满射变换，以处理具有可变对象数的事例。
• 采用因子化模型处理离散特征，实现精确似然计算，并优于基于混合模型的替代方案。

实验结果

研究问题

• RQ1 能否有效将满射和随机变换集成到归一化流中，以在保持精确似然评估的同时，建模排列不变性、离散特征和可变维度的粒子物理事例？
• RQ2 不同离散特征建模策略（如变分去量化、最大值映射和因子化模型）在事例生成和密度估计中的性能表现有何差异？
• RQ3 与确定性排序映射相比，使用随机排列层是否能在低统计量条件下提升泛化能力？
• RQ4 所提出的框架在复杂真实世界LHC数据集上的异常检测中，与现有最先进模型相比表现如何？
• RQ5 在何种场景下，通过因子化模型实现的精确似然评估相比基于混合模型的近似似然，能提供性能优势？

主要发现

• 在低统计量通道（1、2a、2b）中，随机排列层优于排序映射，而在高统计量通道3中排序映射表现更优，表明泛化能力与数据效率之间存在权衡。
• 离散特征的因子化模型性能优于混合模型，后者因类别数量激增而面临高维和数据效率低下的问题。
• 采用所提满射变换处理可变维度的模型实现了精确似然评估，且边界松散度趋近于零，从而在不同对象数的事例中实现了稳健的密度估计。
• 在Dark Machines异常评分挑战的保密数据集上，所提模型优于[21]中表现最佳的模型，在2a和3通道中取得最佳结果。
• 在通道3中，采用随机排列和去量化的模型超越了[21]的流模型，表明在高数据量场景下，精确似然与灵活建模具有显著优势。
• 该框架在保密数据集中的非物理和复杂信号上展现出强泛化能力，表明其对分布偏移具有鲁棒性，具备在真实场景中实现异常检测的潜力。