[論文レビュー] Anomalies, Representations, and Self-Supervision

Barry M. Dillon, Luigi Favaro+3 more|arXiv (Cornell University)|Jan 11, 2023

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

この論文は、高エネルギー物理学におけるモデルに依存しない異常検出のための自己教師付き対照学習手法AnomalyCLRを紹介する。本手法は、置換不変なTransformerエンコーダーを用いて、異常を含むバックグラウンドデータを活用し、ロバストで不変な表現を学習する。CMS ADC2021データセットにおける複数のベンチマーク信号において、30%の信号効率で、生データベースライン比14–70%の有意性向上を達成した。

ABSTRACT

We develop a self-supervised method for density-based anomaly detection using contrastive learning, and test it using event-level anomaly data from CMS ADC2021. The AnomalyCLR technique is data-driven and uses augmentations of the background data to mimic non-Standard-Model events in a model-agnostic way. It uses a permutation-invariant Transformer Encoder architecture to map the objects measured in a collider event to the representation space, where the data augmentations define a representation space which is sensitive to potential anomalous features. An AutoEncoder trained on background representations then computes anomaly scores for a variety of signals in the representation space. With AnomalyCLR we find significant improvements on performance metrics for all signals when compared to the raw data baseline.

研究の動機と目的

• 大型ハドロン衝突型加速器（LHC）における従来の仮説駆動型手法が予期しない信号を逃す可能性があるという、モデルに依存しない新物理探索の課題に対処すること。
• 既存の密度ベースの異常検出手法の限界を克服すること。これらの手法は座標系の選択に敏感であり、データの再パrameterizationに対して不変性を欠いている。
• 真のラベルや信号固有の事前知識を必要とせず、物理的対称性に対して不変で、一般的な異常特徴に敏感な表現学習フレームワークを開発すること。
• 非標準模型物理学を模倣するデータ増幅から得られる擬似ラベルを用いて、自己教師学習により、異常検出性能を向上させること。
• 自己教師学習による異常増幅対照学習が、自己符号化器（AutoEncoders）を用いた下流の異常スコアリングに向けたロバストで判別力のある表現を学習する有効性を実証すること。

提案手法

• 背景データに異常を含む増幅を適用したペairを正例として用いる自己教師付き対照学習フレームワークを提案する。増幅は、背景データに一般的な異常特徴を模倣するように設計されている。
• 置換不変なTransformerエンコーダーを用いて、コライダーイベント（例：粒子ジェットやオブジェクト）を高次元表現空間にマップし、オブジェクトの順序に依存しない不変性を維持する。
• オリジナルのイベントとその増幅版を近づけ、他のバックグラウンドイベントから遠ざけるような、新しい対照損失関数を定義する。
• モデルをバックグラウンドデータのみでエンドツーエンドに訓練し、異常増幅を擬似教師信号として用いて、潜在的な異常に対して敏感な表現を学習する。
• 学習済み表現に事前に訓練された自己符号化器（AutoEncoder）を適用し、再構成誤差を異常スコアとして使用する。
• 表現次元数と自己符号化器のアーキテクチャのハイパーパrameterチューニングを通じて表現空間を最適化し、さまざまな信号モデルと効率における性能を評価する。

Figure 2: Results of a scan on the anomaly-augmentations used with the $\mathcal{L}^{+}_{\text{AnomCLR}}$ loss function. The augmentations are defined in Section 4 . The dashed lines here correspond to the AutoEncoder on raw data baseline performance.

実験結果

リサーチクエスチョン

• RQ1 異常を含むデータを用いた自己教師付き対照学習は、高エネルギー物理学における密度ベースの異常検出性能を向上させることができるか？
• RQ2 表現次元数の選択が、さまざまな信号モデルにおける異常検出の有意性にどのように影響するか？
• RQ3 標準的なデータ増幅と比較して、異常増幅を用いることで、表現学習におけるロバスト性と不変性はどの程度向上するか？
• RQ4 AnomalyCLRフレームワークは、多様な信号モデルにおいて、生データベースラインと比較して有意性の向上と誤差の低減を達成できるか？
• RQ5 信号固有のチューニングや真のラベルを必要とせず、異なる信号タイプに一般化可能か？

主な発見

• AnomalyCLRは、CMS ADC2021データセットの4つのベンチマーク信号すべてにおいて、固定された30%の信号効率で、生データベースライン比14–70%の有意性向上を達成した。
• 本手法は全信号で一貫した性能向上を示し、多様な異常トポロジーに耐性があり、モデルに依存しない性質を裏付けた。
• 表現次元数の増加に伴い、異常検出性能が顕著に向上し、大多数の信号で120〜200次元の範囲でピークに達した。h+信号では、400次元まで向上が継続した。
• 表現次元数が増加するにつれて、有意性向上の相対誤差が減少し、高次元での性能がより安定的かつ信頼性があることを示した。
• 異常増幅を用いることで、座標系の再パラメータ化に敏感でない、より不変で判別力のある表現空間が得られ、その感度が低下した。
• 標準的な自己符号化器ベースラインと比較して、本手法は生データ上で優れた性能を示し、物理的動機付けに基づく増幅を用いた自己教師学習の価値を裏付けた。

Figure 3: Results of a scan on the representation dimension used with the $\mathcal{L}^{+}_{\text{AnomCLR}}$ loss function. The dashed lines here correspond to the AutoEncoder on raw data baseline performance.