[论文解读] Anomaly Awareness

Charanjit K. Khosa, Verónica Sanz|arXiv (Cornell University)|Jul 20, 2020

Particle physics theoretical and experimental studies被引用 14

一句话总结

本文提出了一种混合机器学习方法——异常感知（Anomaly Awareness），通过在损失函数中显式引入多样化的异常样本，结合改进的代价函数，使分类器在仅使用正常数据进行训练的同时，提升对高能物理与计算机视觉任务中未见过的异常的检测鲁棒性。该方法在大型强子对撞机（LHC）喷注拓扑结构及基于MNIST的基准测试中表现出色，且对异常类型的先验知识需求极低。

ABSTRACT

We present a new algorithm for anomaly detection called Anomaly Awareness. The algorithm learns about normal events while being made aware of the anomalies through a modification of the cost function. We show how this method works in different Particle Physics situations and in standard Computer Vision tasks. For example, we apply the method to images from a Fat Jet topology generated by Standard Model Top and QCD events, and test it against an array of new physics scenarios, including Higgs production with EFT effects and resonances decaying into two, three or four subjets. We find that the algorithm is effective identifying anomalies not seen before, and becomes robust as we make it aware of a varied-enough set of anomalies.

研究动机与目标

• 解决传统监督与无监督异常检测方法在高能物理领域中的局限性，即已知异常可能无法泛化至未知或新现象。
• 开发一种与模型无关的混合学习框架，结合监督与无监督学习的优点，提升对未知异常的检测能力。
• 减少在大型强子对撞机（LHC）搜索中对特定新物理场景的先验假设依赖，实现更鲁棒、模型无关的异常检测。
• 在多种领域验证该方法，包括LHC喷注拓扑结构与标准计算机视觉基准（如MNIST）。
• 证明在训练过程中对多样化异常的感知，可显著提升模型对新型异常的泛化能力与鲁棒性。

提出的方法

• 该方法首先仅使用正常事件进行一次先验二分类训练，训练神经网络以区分两种正常过程（例如，标准模型顶夸克与QCD喷注）。
• 在后续的“异常感知”训练阶段，模型通过引入正常与异常事件的修改代价函数进行微调，其中超参数λAA控制异常样本的影响程度。
• 损失函数被调整，以更严厉惩罚对异常的误分类，促使模型将异常得分推向潜在空间中与正常类别边界分离的独立区域。
• 根据输入类型调整网络架构：对喷注图像使用卷积神经网络（CNN），对希格斯玻色子衰变场景中的运动学特征向量使用全连接网络。
• 该方法将分类器输出的概率分布作为异常得分的代理指标，概率分布不确定性更高或与正常类别置信度偏离更大的样本，可能为异常。
• 通过LHC模拟（如大喷注拓扑结构、希格斯+光子+喷注）与标准基准（MNIST、CIFAR-10、fMNIST）对方法进行验证，评估其在不同领域间的泛化能力。

实验结果

研究问题

• RQ1 若在训练过程中明确使模型感知多样化异常类型，仅在正常事件上训练的机器学习模型是否能对未见过的异常具备更强的鲁棒性？
• RQ2 在训练过程中引入多种异常类型，如何影响模型检测新型异常的泛化能力？
• RQ3 在LHC的模型无关搜索中，异常感知方法在多大程度上优于标准的监督与无监督异常检测技术？
• RQ4 该方法在非物理数据集（如MNIST与CIFAR-10）上是否仍保持有效性，证明其在不同领域间的可迁移性？
• RQ5 超参数λAA在不同场景下如何影响模型在异常检测中的敏感性与鲁棒性？

主要发现

• 异常感知算法在新物理场景的喷注拓扑结构（如含有效场论效应的希格斯产生、衰变为2–4个次喷注的共振态）中成功识别异常，优于基线模型。
• 当仅使用单一异常类型（如ZH产生）进行训练时，模型的异常得分分布出现可测量的偏移，表明检测能力得到提升。
• 引入两种或以上异常类型（如ZH、轴子、引力子）可进一步增强鲁棒性，使模型对异常的具体来源不那么敏感。
• 该方法在非物理数据集上也表现出有效泛化：在仅用两个MNIST数字训练时，能成功将CIFAR-10、fMNIST与nMNIST识别为异常。
• 随着训练中使用的异常集合多样性增加，算法性能持续提升，证实对多样化异常的‘感知’可带来更强的泛化能力。
• 该方法无需事先了解异常的结构即可实现有效异常检测，适用于高能物理中模型无关的搜索。