[论文解读] High-dimensional and Permutation Invariant Anomaly Detection

V. M. Mikuni, Benjamin Nachman|arXiv (Cornell University)|Jun 6, 2023

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了一种排列不变的高维密度估计方法，用于粒子物理中的异常检测，基于可变长度喷注数据训练的扩散模型。通过分数匹配和最大似然估计数据密度，该方法在异常检测性能上表现优异——AUC达到0.980，与监督分类器相当，同时保持了对粒子排序和喷注尺寸的不变性。

ABSTRACT

Methods for anomaly detection of new physics processes are often limited to low-dimensional spaces due to the difficulty of learning high-dimensional probability densities. Particularly at the constituent level, incorporating desirable properties such as permutation invariance and variable-length inputs becomes difficult within popular density estimation methods. In this work, we introduce a permutation-invariant density estimator for particle physics data based on diffusion models, specifically designed to handle variable-length inputs. We demonstrate the efficacy of our methodology by utilizing the learned density as a permutation-invariant anomaly detection score, effectively identifying jets with low likelihood under the background-only hypothesis. To validate our density estimation method, we investigate the ratio of learned densities and compare to those obtained by a supervised classification algorithm.

研究动机与目标

• 解决粒子物理中缺乏显式、高维密度估计方法的问题，这些方法需对粒子排列和可变喷注长度保持不变。
• 克服归一化流和自编码器在处理喷注物理中常见的可变长度、排列不变点云数据时的局限性。
• 通过从低层次喷注组分（粒子）学习显式概率密度，无需信号假设，实现无监督异常检测。
• 使用似然比验证密度估计器，并与监督分类器及先前方法进行性能比较。
• 在隐藏山谷模型中的顶夸克喷注识别和半可见喷注搜索任务中验证方法的有效性。

提出的方法

• 将点云扩散模型适配为学习喷注粒子数据的分数函数，通过带有注意力机制的消息传递架构确保排列不变性。
• 使用标准分数匹配和最大似然目标联合训练分数模型，以显式估计底层数据密度。
• 利用学习到的分数函数计算事件的负对数似然，作为检测稀有物理过程的异常评分。
• 将喷注表示为粒子集合（如顶夸克喷注和QCD喷注），输入特征包括pT、eta、phi和质量。
• 通过基于Transformer的编码器加全连接层与Sigmoid激活函数实现最终分类器头，用于与监督基线比较。
• 通过在QCD和顶夸克喷注上分别训练的模型之间的似然比检验评估密度估计质量。

Figure 1: Estimated negative log-likelihood in the model trained exclusively on QCD jets, evaluated on a single jet under multiple permutations of the input particles.

实验结果

研究问题

• RQ1 具有排列不变架构的扩散模型能否为粒子物理中高维、可变长度的喷注数据提供可靠且显式的密度估计？
• RQ2 基于学习到的密度比的无监督异常检测性能，与在相同数据上训练的监督分类器相比如何？
• RQ3 与标准分数匹配相比，分数模型的最大似然训练是否能提升密度估计和下游异常检测性能？
• RQ4 在真实喷注环境中，该方法在多大程度上保持对粒子排序和喷注尺寸的不变性？
• RQ5 所学习的密度估计器能否以高显著性检测到顶夸克喷注和隐藏山谷模型中的半可见喷注？

主要发现

• 该方法在QCD与顶夸克喷注之间的无监督异常检测中实现了0.980的AUC，与专用监督分类器性能相当。
• 最大似然训练策略相比标准分数匹配，获得了更低的负对数似然（密度估计更优），但这一改进并未转化为更好的异常检测性能。
• 在QCD和顶夸克喷注上分别训练的模型之间的对数似然比，AUC达到0.975，表明无需显式标签即可实现强大的判别能力。
• 在从QCD背景中检测顶夸克喷注时，该方法实现了最大显著性（SIC）16.0，表明对稀有信号具有强敏感性。
• 该方法对可变喷注长度和粒子排列表现出鲁棒性，不同训练策略下的性能差异微小。
• 结果表明，尽管当前密度估计性能具有竞争力，但在缩小与监督方法的性能差距方面仍有显著提升空间，尤其是在相空间尾部区域。

Figure 2: Anomaly score for QCD, top quark, and $Z^{\prime}$ jets evaluated on the model trained exclusively on QCD jet events.