[논문 리뷰] Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter

The CMS ECAL Collaboration|arXiv (Cornell University)|2023. 09. 18.

Anomaly Detection Techniques and ApplicationsComputer Science참고 문헌 21인용 수 3

한 줄 요약

이 논문은 CMS 전자약열광도계(ECAL)의 실시간 온라인 데이터 품질 모니터링을 위한 준지도 학습 기반 자동에코더 이상 탐지 시스템을 제시한다. 이 시스템은 공간적 및 시간적 보정을 적용한 2차원 검출기 반응 이미지를 활용하여 이상 탐지 성능을 향상시킨다. 시스템은 탐지 정확도를 10배 향상시키며, 기존의 전통적 DQM 시스템이 놓친 열화 중인 채널을 성공적으로 식별하여 LHC 런 3 운영 동안의 잘못된 경고를 줄였다.

ABSTRACT

The CMS detector is a general-purpose apparatus that detects high-energy collisions produced at the LHC. Online Data Quality Monitoring of the CMS electromagnetic calorimeter is a vital operational tool that allows detector experts to quickly identify, localize, and diagnose a broad range of detector issues that could affect the quality of physics data. A real-time autoencoder-based anomaly detection system using semi-supervised machine learning is presented enabling the detection of anomalies in the CMS electromagnetic calorimeter data. A novel method is introduced which maximizes the anomaly detection performance by exploiting the time-dependent evolution of anomalies as well as spatial variations in the detector response. The autoencoder-based system is able to efficiently detect anomalies, while maintaining a very low false discovery rate. The performance of the system is validated with anomalies found in 2018 and 2022 LHC collision data. Additionally, the first results from deploying the autoencoder-based system in the CMS online Data Quality Monitoring workflow during the beginning of Run 3 of the LHC are presented, showing its ability to detect issues missed by the existing system.

연구 동기 및 목표

• 고에너지 양성자-양성자 충돌 중 데이터 품질 모니터링을 향상시키기 위해 CMS ECAL을 위한 자동화되고 실시간 이상 탐지 시스템을 개발하는 것.
• 노후화된 전자기기와 증가하는 충돌 빈도로 인해 기존의 컷 기반 DQM 시스템이 미세하거나 점진적이거나 일시적인 이상을 탐지하는 데 한계가 있음을 해결하는 것.
• 검출기 반응의 공간적 변동성을 모델링하고 시간에 따라 변화하는 이상의 진화를 고려하여 이상 탐지 성능을 향상시키는 것.
• LHC 런 3 기간 동안 CMS 온라인 DQM 워크플로우에 운영적으로 구현하여 실시간 진단을 가능하게 하는 것.
• 다양한 검출기 조건 하에서 높은 감도를 유지하면서도 잘못된 발견 비율을 줄이는 것.

제안 방법

• 시스템은 ECAL 점유도 히스토그램을 2차원 이미지로 처리하고, 정상 데이터에 대해 준지도 학습 방식으로 훈련된 딥 자동에코더에 입력한다.
• 검출기 기하학 전반의 내재된 비균일한 반응을 보정하기 위해 공간적 반응 보정을 적용한다.
• 시간에 따라 변화하는 이상의 진화를 모델링하기 위해 시간적 보정을 도입한다. 예를 들어, 열화되거나 일시적인 채널의 변화를 반영한다.
• 이상 점수는 자동에코더의 재구성 오차로 계산되며, 가짜 이상을 주입한 검증 데이터를 사용해 임계값을 설정한다.
• 각 ECAL 영역(바렐/엔드캡)에 대해 하나의 임계값을 사용하여 타워 수준에서 이상을 경고함으로써 국소화를 가능하게 한다.
• 후처리 단계에서는 지속적으로 경고가 발생하는 타워를 빈도 기반 마스킹하여 사전에 열화 중인 채널을 식별한다.

Figure 1: Schematic view of the CMS detector and its various subdetectors.

실험 결과

연구 질문

• RQ1 준지도 학습 기반 자동에코더는 낮은 잘못된 경고 비율로 실시간 ECAL 데이터에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 공간적 및 시간적 보정을 통합함으로써 기존의 기준 방법에 비해 이상 탐지 성능이 얼마나 향상되는가?
• RQ3 기존의 컷 기반 DQM 시스템이 놓친 이상, 특히 일시적이거나 서서히 열화되는 채널을 시스템이 탐지할 수 있는가?
• RQ4 시스템은 피킹업 조건과 검출기의 노후화 영향에 따라 얼마나 견고하게 유지되는가?
• RQ5 실제 LHC 운영 중에 시스템은 개별 타워 수준에서 이상을 얼마나 효과적으로 국소화하는가?

주요 결과

• 자기에코더 기반 시스템은 공간적 및 시간적 보정을 통합함으로써 기존 기준 방법 대비 이상 탐지 성능을 10배 향상시켰다.
• 시스템은 기존 DQM 시스템이 런 3 기간 동안 놓친 지속적인 영업 없음 상태인 열화 중인 ECAL 타워를 성공적으로 탐지하였다.
• 2018년과 2022년의 실제 이상을 검증한 결과, 다양한 형태, 크기, 위치의 이상을 타워 수준에서 높은 감도로 탐지하였다.
• 이상 태깅 임계값은 99%의 추정 태깅 비율로 설정되어 높은 재현율을 확보하면서도 잘못된 경고를 최소화하였다.
• 런 3에서의 구현을 통해 시스템은 일시적인 이상, 예를 들어 타워 2의 간헐적 고장과 같은 사례를 탐지할 수 있었으며, 기존의 전통적 DQM에서는 일관되게 경고되지 않았다.
• 시스템은 기존의 DQM 워크플로우를 보완하여 ECAL 전문가가 검출기 문제를 더 빠르고 정확하게 진단할 수 있도록 한다.

Figure 2: Schematic view of the ECAL showing the cylindrical barrel closed by the two endcap regions with one half endcap displayed.