[论文解读] Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter

The CMS ECAL Collaboration|arXiv (Cornell University)|Sep 18, 2023

Anomaly Detection Techniques and ApplicationsComputer Science参考文献 21被引用 3

一句话总结

本论文提出了一种基于半监督自编码器的异常检测系统，用于在LHC Run 3期间对CMS电磁 calorimeter（ECAL）的实时在线数据质量监控进行异常检测。该系统利用具有空间和时间依赖性校正的2D探测器响应图像，显著提升了异常检测性能。系统将检测准确率提升了10倍，并成功识别出传统DQM系统未能发现的退化通道，从而在LHC Run 3运行中减少了误报。

ABSTRACT

The CMS detector is a general-purpose apparatus that detects high-energy collisions produced at the LHC. Online Data Quality Monitoring of the CMS electromagnetic calorimeter is a vital operational tool that allows detector experts to quickly identify, localize, and diagnose a broad range of detector issues that could affect the quality of physics data. A real-time autoencoder-based anomaly detection system using semi-supervised machine learning is presented enabling the detection of anomalies in the CMS electromagnetic calorimeter data. A novel method is introduced which maximizes the anomaly detection performance by exploiting the time-dependent evolution of anomalies as well as spatial variations in the detector response. The autoencoder-based system is able to efficiently detect anomalies, while maintaining a very low false discovery rate. The performance of the system is validated with anomalies found in 2018 and 2022 LHC collision data. Additionally, the first results from deploying the autoencoder-based system in the CMS online Data Quality Monitoring workflow during the beginning of Run 3 of the LHC are presented, showing its ability to detect issues missed by the existing system.

研究动机与目标

• 开发一种自动化、实时的CMS ECAL异常检测系统，以在高能质子-质子碰撞期间提升数据质量监控能力。
• 解决传统基于阈值的DQM系统在检测由电子元件老化和碰撞率增加引起的细微、演化或瞬态异常方面的局限性。
• 通过建模探测器响应的空间变化和随时间演化的异常，提升异常检测性能。
• 在LHC Run 3期间将系统实际部署于CMS在线DQM工作流中，实现实时诊断。
• 在保持对多样化探测器条件下的异常高灵敏度的同时，降低误报率。

提出的方法

• 系统将ECAL占用率直方图处理为2D图像，并将其输入到使用正常数据进行半监督训练的深度自编码器中。
• 应用空间响应校正以补偿ECAL几何结构中固有的非均匀探测器响应。
• 引入时间依赖性校正以建模异常随时间的演化，例如退化或瞬态通道。
• 通过使用注入了虚假异常的验证数据集，设定重建误差作为异常评分的阈值。
• 系统在每个ECAL区域（端盖/ barrel）使用单一阈值，在塔级别标记异常，实现异常定位。
• 后处理包括基于频率的掩码处理，对持续被标记的塔进行识别，以主动发现退化通道。

Figure 1: Schematic view of the CMS detector and its various subdetectors.

实验结果

研究问题

• RQ1 半监督自编码器能否在低误报率下有效实现实时ECAL数据的异常检测？
• RQ2 与基线方法相比，引入空间和时间校正后，异常检测性能的提升程度如何？
• RQ3 该系统能否检测到现有基于阈值的DQM系统所遗漏的异常，特别是瞬态或缓慢退化的通道？
• RQ4 系统在不同堆叠条件和探测器老化效应下的鲁棒性如何？
• RQ5 在真实LHC运行中，系统在单个塔级别对异常的定位能力有多高？

主要发现

• 通过整合空间和时间校正，基于自编码器的系统相比基线方法将异常检测性能提升了10倍。
• 系统成功检测到具有持续零占用率的退化ECAL塔，包括在Run 3期间被现有DQM系统遗漏的案例。
• 在2018年和2022年真实异常数据的验证中，系统以高灵敏度检测到各种形状、大小和位置的异常，且在塔级别表现优异。
• 异常标记阈值设定为99%的估计标记率，确保高召回率的同时最大限度减少误报。
• Run 3中的部署证明了系统识别瞬态异常的能力，例如塔2的间歇性故障，这些异常未被传统DQM系统稳定标记。
• 该系统补充了现有的DQM工作流，使ECAL专家能够更快、更准确地诊断探测器问题。

Figure 2: Schematic view of the ECAL showing the cylindrical barrel closed by the two endcap regions with one half endcap displayed.