[論文レビュー] Continual Learning via Ensemble-Based Depth-Wise Masked Autoencoders for Data Quality Monitoring in High-Energy Physics

Dale Julson, Eric Reinhardt+6 more|arXiv (Cornell University)|Mar 2, 2026

Anomaly Detection Techniques and Applications被引用数 0

ひとこと要約

本論文は、CMS HCALデータの異常検知のための軽量な深度方向マスクドオートエンコーダDepthViTと、データ分布の進化に対応する性能を維持するエンサンブル継続学習フレームワークを提案する。

ABSTRACT

Machine learning (ML) techniques have been demonstrated to improve the accuracy and efficiency of anomaly detection (AD) when compared to conventional methods. This has led to the adoption of ML for data quality monitoring (DQM) use cases in order to monitor the operation of certain systems to ensure that they are free of undesirable or potentially deleterious anomalies. For applications in the field of High-Energy physics (HEP), where detectors must operate in long-running, harsh environments, ML models used in DQM that have been trained on static datasets are bound to experience degraded performance due to distributional shifts that naturally occur in the incoming data streams, unless directly mitigated via the inclusion of continual ML techniques. This work introduces DepthViT, a lightweight masked autoencoder architecture that employs unique depth-wise embeddings and cross-depth attention, to perform computationally efficient AD tasks. A continual learning framework is developed in which DepthViT models trained on the most recent data streams are ensembled with older models to create a robust overall system which is more resilient to shifts in incoming data streams. When evaluated on occupancy maps from the Compact Muon Solenoid (CMS) hadron calorimeter across multiple data-taking campaigns, the proposed method maintains precision above 99\% and stable ratio of correct anomaly predictions to number of anomalies both under small and large distributional shifts. Beyond HEP, the same ensembling-based continual adaptation strategy can be directly applied to industrial monitoring environments where data also naturally evolve over time. This work therefore presents a path toward adaptive anomaly detection systems capable of sustained operation in dynamic data environments.

研究の動機と目的

• ハイエネルギー物理学検出器における非定常なデータ分布に起因するMLベースのDQMシステムの性能劣化を動機づけ、対処する。
• 効率的な異常検知のための深度-wise埋め込みとクロス深度注意機構を備えた軽量アーキテクチャ（DepthViT）を開発する。
• 最近のデータモデルと古いモデルを組み合わせて頑健性を向上させるエンサンブルベースの継続学習戦略を提案する。
• 小規模・大規模な分布シフトを含む複数のデータ収集キャンペーンにわたるCMS HCAL DigiOccupancyマップで堅牢な性能を示す。

提案手法

• DepthViTを導入：チャネル固有の関係を捉える深度方向パッチと深度方向注意機構を備えたマスクドオートエンコーダ。
• 検証データ上で計算された基準mu_errとsigma_errに対する再構成誤差を定量化するピクセル毎のZスコア手法を用いる。
• 分布シフトに対する頑健性を高めるため、時間窓ベースのZスコア集約とギャップスコア閾値を適用する。
• 最近のデータストリームで複数のDepthViTモデルを学習させ、忘却を軽減しレジリエンスを高めるために古いモデルとアンサンブルする。
• 2つの入力スケーリング方式（最大スケーリングと分位スケーリング）を用い、サブエンサンブルを論理和で結合して堅牢なエンサンブルを形成する。
• およそ30万パラメータ程度の効率的な計算プロファイルを活用し、一般的なViTベースラインより大幅に小さい。

実験結果

リサーチクエスチョン

• RQ1 DepthViTは、小規模および大規模な分布シフトの下でCMS HCAL DigiOccupancyマップにおいて高精度の異常検知を実現できるか。
• RQ2 エンサンブル継続学習戦略は単一モデルのベースラインより非定常データストリームへの頑健性を向上させるか。
• RQ3 深度-wise埋め込みとクロス深度注意はDQMタスクにおけるモデルの効率と性能にどのように影響するか。
• RQ4 最大スケーリングと分位スケーリングの2スケーリングサブエンサンブルは、異なる異常要因の検出に有益か。
• RQ5 提案手法はハイエネルギー物理以外の進化する産業モニタリング分野にも一般化できるか。

主な発見

• DepthViTは高精度の異常検知を達成し、評価されたシナリオ全体で精度を99%以上に維持した。
• 最近データモデルと古いモデルを組み合わせたエンサンブル継続学習アプローチは、単一モデルベースラインと比べてデータシフトへの耐性を向上させた。
• 深度方向のパッチングとクロス深度注意は、チャンネル固有の検出器の関係を効果的に捉えつつ、モデルサイズを約30万パラメータに抑えた。
• 2スケーリングサブエンサンブル（最大スケーリングと分位スケーリング）は互いを補完し、異なる異常要因に対する感度を高めた。
• エンサンブリングフレームワークは並列化が可能で、実行時オーバーヘッドを最小限に抑えつつ分布の変化に対する頑健性を向上させる。