[論文レビュー] Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter

The CMS ECAL Collaboration|arXiv (Cornell University)|Sep 18, 2023

Anomaly Detection Techniques and ApplicationsComputer Science参考文献 21被引用数 3

ひとこと要約

本論文では、CMSの電磁カリメータ（ECAL）におけるリアルタイムオンラインデータ品質モニタリングのための半教師ありオートエンコーダーに基づく異常検出システムを提案する。空間的および時間的依存性補正を用いた2次元検出器応答画像を活用することで、異常検出性能が向上する。本システムは検出精度を10倍改善し、従来のDQMで見逃された劣化するチャンネルを効果的に特定し、LHC Run 3運用における誤報を低減した。

ABSTRACT

The CMS detector is a general-purpose apparatus that detects high-energy collisions produced at the LHC. Online Data Quality Monitoring of the CMS electromagnetic calorimeter is a vital operational tool that allows detector experts to quickly identify, localize, and diagnose a broad range of detector issues that could affect the quality of physics data. A real-time autoencoder-based anomaly detection system using semi-supervised machine learning is presented enabling the detection of anomalies in the CMS electromagnetic calorimeter data. A novel method is introduced which maximizes the anomaly detection performance by exploiting the time-dependent evolution of anomalies as well as spatial variations in the detector response. The autoencoder-based system is able to efficiently detect anomalies, while maintaining a very low false discovery rate. The performance of the system is validated with anomalies found in 2018 and 2022 LHC collision data. Additionally, the first results from deploying the autoencoder-based system in the CMS online Data Quality Monitoring workflow during the beginning of Run 3 of the LHC are presented, showing its ability to detect issues missed by the existing system.

研究の動機と目的

• 高エネルギー陽子陽子衝突中のデータ品質モニタリングを向上させるために、CMS ECAL用の自動的かつリアルタイムの異常検出システムを開発すること。
• 年齢をとる電子部品や衝突率の増加に伴い、微細で変化する、または一時的な異常を検出できない従来のカットベースDQMシステムの限界を克服すること。
• 検出器応答の空間的変動をモデル化し、時間経過に伴う異常の進化を捉えることで、異常検出性能を向上させること。
• LHC Run 3の運用中に、CMSオンラインDQMワークフローに本システムを導入し、リアルタイム診断を可能にすること。
• 多様な検出器状態下でも高い感度を維持しながら、誤検出率を低減すること。

提案手法

• システムはECALの占有度ヒストグラムを2次元画像として処理し、正常データ上で半教師ありに訓練された深層オートエンコーダーに供給する。
• 検出器幾何形状に起因する応答の非一様性を補正するため、空間的応答補正を適用する。
• 劣化や一時的なチャンネルの変化といった、時間経過に伴う異常の進化をモデル化するため、時間的依存性補正を導入する。
• 異常スコアはオートエンコーダーの再構成誤差として計算され、偽の異常を注入した検証データを用いてしきい値を設定する。
• 各ECAL領域（バーレル／エンドキャップ）ごとに1つのしきい値を用い、タワー単位での異常フラグを立てる。これにより、異常の局所化が可能になる。
• 後処理として、持続的にフラグが立つタワーを周波数ベースでマスク処理することで、劣化しているチャンネルを事前に同定する。

Figure 1: Schematic view of the CMS detector and its various subdetectors.

実験結果

リサーチクエスチョン

• RQ1 半教師ありオートエンコーダーは、低誤報率でリアルタイムのECALデータにおける異常を効果的に検出できるか？
• RQ2 空間的および時間的補正を組み込むことで、ベースライン手法と比較して異常検出性能がどの程度向上するか？
• RQ3 本システムは、従来のカットベースDQMシステムが見逃す異常、特に一時的またはゆっくり劣化するチャンネルを検出できるか？
• RQ4 本システムは、さまざまなプールアップ条件や検出器の老化効果に対しても、どの程度のロバストネスを示すか？
• RQ5 本システムは、実際のLHC運用中に個々のタワー単位での異常局所化にどの程度効果的か？

主な発見

• 空間的および時間的補正を統合したオートエンコーダー基盤のシステムは、ベースライン手法と比較して異常検出性能を10倍向上させた。
• 本システムは、持続的に占有度がゼロである劣化するECALタワーを効果的に検出でき、Run 3中に既存のDQMシステムが見逃した事例も含めて検出に成功した。
• 2018年および2022年の実際の異常を用いた検証において、本システムはさまざまな形状・サイズ・位置の異常をタワー単位で高い感度で検出できた。
• 異常タグのしきい値は99％の推定タグ率に設定され、高いリcallを確保するとともに、誤報を最小限に抑えた。
• Run 3への導入において、一時的な故障（例：タワー2の間欠的故障）といった一時的異常を検出でき、従来のDQMでは一貫してフラグが立たないケースも特定できた。
• 本システムは既存のDQMワークフローを補完し、ECAL専門家による検出器問題の迅速かつ正確な診断を可能にした。

Figure 2: Schematic view of the ECAL showing the cylindrical barrel closed by the two endcap regions with one half endcap displayed.