[논문 리뷰] High-dimensional and Permutation Invariant Anomaly Detection

V. M. Mikuni, Benjamin Nachman|arXiv (Cornell University)|2023. 06. 06.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 변수 길이의 제트 데이터로 훈련된 확산 모델을 사용하여 입자 물리학에서 이상 탐지에 대한 순열 불변성과 고차원 밀도 추정기를 제안한다. 점수 매칭과 최대우도 기반으로 데이터 밀도를 추정함으로써 경쟁 가능한 이상 탐지 성능를 달성하며, AUC(0.980)에서 지도 학습 분류기와 동등한 성능을 보이며, 입자 순서와 제트 크기 변화에 대해 불변성을 유지한다.

ABSTRACT

Methods for anomaly detection of new physics processes are often limited to low-dimensional spaces due to the difficulty of learning high-dimensional probability densities. Particularly at the constituent level, incorporating desirable properties such as permutation invariance and variable-length inputs becomes difficult within popular density estimation methods. In this work, we introduce a permutation-invariant density estimator for particle physics data based on diffusion models, specifically designed to handle variable-length inputs. We demonstrate the efficacy of our methodology by utilizing the learned density as a permutation-invariant anomaly detection score, effectively identifying jets with low likelihood under the background-only hypothesis. To validate our density estimation method, we investigate the ratio of learned densities and compare to those obtained by a supervised classification algorithm.

연구 동기 및 목표

• 입자 순서와 변동하는 제트 길이에 대해 불변이면서 명시적인 고차원 밀도 추정 방법이 입자 물리학에서 부족한 문제를 해결한다.
• 제트 물리에서 흔한 변동 길이의 순열 불변 포인트 클러스터 데이터를 다루는 데에서 정규화 흐름과 오토에코더의 한계를 극복한다.
• 신호 가정 없이 저수준 제트 구성 입자(입자)로부터 명시적인 확률 밀도를 학습함으로써 비지도 이상 탐지 가능성을 제공한다.
• 유사도 비율을 사용하여 밀도 추정기의 품질을 검증하고, 지도 학습 분류기 및 이전 방법과의 성능를 비교한다.
• 숨겨진 계곡 모델에서 톰 쿼크 태깅 및 반투명 제트 탐색에 대해 본 방법의 효과성을 입증한다.

제안 방법

• 메시지 전파 아키텍처와 어텐션 메커니즘을 통해 순열 불변성을 확보하면서, 제트 입자 데이터의 점수 함수를 학습하기 위해 포인트 클러스터 확산 모델을 적응한다.
• 표준 점수 매칭과 최대우도 목표를 모두 사용하여 점수 모델을 훈련함으로써 기저 데이터 밀도를 명시적으로 추정한다.
• 학습된 점수 함수를 사용해 사건의 음의 로그우도를 계산하고, 이는 드문 물리 과정을 탐지하기 위한 이상도로 기능한다.
• 입력 특징으로는 pT, eta, phi 및 질량을 포함한 입자 집합으로 표현된 제트(예: 톰 쿼크 제트와 QCD 제트)를 사용한다.
• 지도 학습 기반 베이스라인과 비교하기 위해 트랜스포머 기반 인코더와 완전 연결 층, 시그모이드 활성화 함수를 사용한 최종 분류기 헤드를 구현한다.
• QCD 제트와 톰 쿼크 제트로 각각 훈련된 모델 간의 유사도 비율 테스트를 통해 밀도 추정 품질을 평가한다.

Figure 1: Estimated negative log-likelihood in the model trained exclusively on QCD jets, evaluated on a single jet under multiple permutations of the input particles.

실험 결과

연구 질문

• RQ1 순열 불변 아키텍처를 가진 확산 모델이 입자 물리학에서 고차원이고 길이가 변하는 제트 데이터에 대해 신뢰할 수 있고 명시적인 밀도 추정을 제공할 수 있는가?
• RQ2 학습된 밀도 비율에 기반한 비지도 이상 탐지 성능가 지도 학습 분류기의 성능와 비교해 볼 때 어떻게 되는가?
• RQ3 표준 점수 매칭 대비 점수 모델의 최대우도 훈련 전략이 밀도 추정 및 이후 이상 탐지 성능를 향상시키는가?
• RQ4 실제 제트 환경에서 본 방법이 입자 순서와 제트 크기 변화에 대해 얼마나 잘 불변성을 유지하는가?
• RQ5 학습된 밀도 추정기가 톰 쿼크 제트와 숨겨진 계곡 모델의 반투명 제트와 같은 이상 현상을 고의미도로 탐지할 수 있는가?

주요 결과

• 비지도 이상 탐지에서 QCD 제트와 톰 쿼크 제트 간의 ROC 곡선 아래 면적(AUC)이 0.980을 기록하며, 전용 지도 학습 분류기의 성능를 정확히 따라간다.
• 최대우도 훈련 전략은 표준 점수 매칭 대비 더 낮은 음의 로그우도(밀도 추정 향상)를 제공하지만, 이는 이상 탐지 성능 향상으로 이어지지 않는다.
• QCD 제트와 톰 쿼크 제트로 훈련된 모델 간의 로그우도 비율은 AUC 0.975를 기록하며, 명시적 레이블 없이도 강력한 분류 능력을 보여준다.
• QCD 배경에서 톰 쿼크 제트를 탐지할 때 최대의 신뢰도(SIC)가 16.0에 도달하여 드문 신호에 대한 강력한 감도를 보인다.
• 변동하는 제트 길이와 입자 순서 변화에 대해 강건성을 보이며, 다양한 훈련 전략 간 성능 차이가 미미하다.
• 결과적으로 현재 밀도 추정 성능는 경쟁 가능하지만, 특히 단면적 공간의 꼬리 부분에서 지도 학습 방법과의 성능 격차를 좁힐 여지가 여전히 크다.

Figure 2: Anomaly score for QCD, top quark, and $Z^{\prime}$ jets evaluated on the model trained exclusively on QCD jet events.