[論文レビュー] High-dimensional and Permutation Invariant Anomaly Detection

V. M. Mikuni, Benjamin Nachman|arXiv (Cornell University)|Jun 6, 2023

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、可変長のジェットデータに訓練された拡散モデルを用いて、粒子物理学における異常検出のための順列不変で高次元の密度推定手法を提案する。スコアマッチングおよび最尤推定を用いてデータ密度を推定することで、性能が優れた異常検出が達成され、AUC（0.980）において教師あり分類器と同等の性能を示す一方で、粒子の順序やジェットサイズに対して不変性を維持する。

ABSTRACT

Methods for anomaly detection of new physics processes are often limited to low-dimensional spaces due to the difficulty of learning high-dimensional probability densities. Particularly at the constituent level, incorporating desirable properties such as permutation invariance and variable-length inputs becomes difficult within popular density estimation methods. In this work, we introduce a permutation-invariant density estimator for particle physics data based on diffusion models, specifically designed to handle variable-length inputs. We demonstrate the efficacy of our methodology by utilizing the learned density as a permutation-invariant anomaly detection score, effectively identifying jets with low likelihood under the background-only hypothesis. To validate our density estimation method, we investigate the ratio of learned densities and compare to those obtained by a supervised classification algorithm.

研究の動機と目的

• 粒子物理学における粒子の順列不変性および可変ジェット長に対応できる明示的かつ高次元の密度推定手法の不足を解消すること。
• ジェット物理学に一般的な可変長かつ順列不変なポイントクラウドデータを扱う際の正規化フローおよびオートエンコーダーの限界を克服すること。
• 信号の仮定なしに低レベルのジェット構成粒子（粒子）から明示的な確率密度を学習することで、教師なし異常検出を可能にすること。
• 尤度比を用いて密度推定器を検証し、教師あり分類器および先行手法とその性能を比較すること。
• 隠れた谷モデルにおけるトップクォークタギングおよび準可視ジェット探索において、本手法の有効性を示すこと。

提案手法

• アテンション機構を備えたメッセージパッシングアーキテクチャを用いて、ジェット粒子データのスコア関数を学習する点群拡散モデルを、順列不変性を保証するように適応する。
• 標準的なスコアマッチングに加え、最尤推定の目的関数を用いて、スコアモデルを訓練することで、データ密度を明示的に推定する。
• 学習されたスコア関数を用いて、イベントの負の対数尤度を計算し、これが稀な物理過程を検出するための異常スコアとして機能する。
• pT、η、φ、質量を入力特徴量として含む、可変長の粒子集合として表されるジェット（例：トップクォークおよびQCDジェット）に本手法を適用する。
• 教師ありベースラインと比較するため、トランスフォーマーに基づくエンコーダーに全結合層とシグモイド活性化関数を組み合わせた最終分類器ヘッドを実装する。
• QCDジェットとトップクォークジェットにそれぞれ訓練されたモデル間の尤度比検定を用いて、密度推定の品質を評価する。

Figure 1: Estimated negative log-likelihood in the model trained exclusively on QCD jets, evaluated on a single jet under multiple permutations of the input particles.

実験結果

リサーチクエスチョン

• RQ1 順列不変なアーキテクチャを備えた拡散モデルは、粒子物理学における高次元かつ可変長のジェットデータに対して、信頼性の高い明示的密度推定を提供できるか？
• RQ2 学習された密度比に基づく教師なし異常検出の性能は、同じデータに教師あり分類器を訓練した場合と比べてどうか？
• RQ3 標準的なスコアマッチングと比較して、スコアモデルの最尤訓練は密度推定および下流の異常検出を改善するか？
• RQ4 現実のジェット環境において、本手法は粒子の順序およびジェットサイズに対してどの程度不変性を保っているか？
• RQ5 学習された密度推定器は、トップクォークジェットや隠れた谷モデルからの準可視ジェットといった異常を高い有意水準で検出できるか？

主な発見

• 本手法は、QCDジェットとトップクォークジェットの間で教師なし異常検出においてAUC 0.980を達成し、専用の教師あり分類器と同等の性能を示した。
• 最尤訓練戦略は、標準的なスコアマッチングと比較して、より低い負の対数尤度（密度推定の向上）をもたらしたが、これは異常検出性能の向上にはつながらなかった。
• QCDとトップクォークジェットにそれぞれ訓練されたモデル間の対数尤度比はAUC 0.975を達成し、明示的なラベルなしに強い判別力を持つことを示した。
• QCD背景からのトップクォークジェット検出において、最大の有意水準（SIC）16.0を達成し、希少な信号に対して高い感度を持つことを示した。
• 本手法は、可変長ジェットおよび粒子の順列変動に対して頑健であり、訓練戦略の違いによる性能差はわずかであった。
• 結果から、現在の密度推定は競争力があるものの、特に位相空間の端末部において、教師あり手法との性能ギャップを埋める余地が依然として大きく残っていることが示唆された。

Figure 2: Anomaly score for QCD, top quark, and $Z^{\prime}$ jets evaluated on the model trained exclusively on QCD jet events.