[논문 리뷰] Classifying Anomalies THrough Outer Density Estimation (CATHODE)

Anna Hallin, Joshua Isaacson외 7명|arXiv (Cornell University)|2021. 09. 01.

Particle physics theoretical and experimental studies참고 문헌 54인용 수 25

한 줄 요약

CATHODE는 외부 밀도 추정과 조건밀도 모델을 이용해 신호 영역에서 배경과 유사한 샘플을 생성한 뒤, 데이터와 배경 모델을 구분하는 분류기를 학습시켜 LHC 이상 탐지에서 거의 최적의 성능을 달성하는 모델-비의존(anomaly detection) 전략입니다.

ABSTRACT

We propose a new model-agnostic search strategy for physics beyond the standard model (BSM) at the LHC, based on a novel application of neural density estimation to anomaly detection. Our approach, which we call Classifying Anomalies THrough Outer Density Estimation (CATHODE), assumes the BSM signal is localized in a signal region (defined e.g. using invariant mass). By training a conditional density estimator on a collection of additional features outside the signal region, interpolating it into the signal region, and sampling from it, we produce a collection of events that follow the background model. We can then train a classifier to distinguish the data from the events sampled from the background model, thereby approaching the optimal anomaly detector. Using the LHC Olympics R&D dataset, we demonstrate that CATHODE nearly saturates the best possible performance, and significantly outperforms other approaches that aim to enhance the bump hunt (CWoLa Hunting and ANODE). Finally, we demonstrate that CATHODE is very robust against correlations between the features and maintains nearly-optimal performance even in this more challenging setting.

연구 동기 및 목표

• 전통적인 표적 분석을 보완하는 LHC에서의 BSM 물리 탐색을 위한 모델-비의존 탐색 전략의 동기를 제시한다.
• 외부(사이드밴드) 영역에서 배경 분포를 학습하고 이를 신호 영역으로 샘플링하여 견고한 이상 탐지를 가능하게 하는 방법을 개발한다.
• 이 방법이 데이터-대-배경 이상 탐지의 이론적 최적에 근접하고 특징 간의 상관관계에 대해 견고함을 보임을 시연한다.
• CWOLA Hunting(버프 헌트 기반 강화) 및 밀도 추정 기반 접근법(A-node)과의 성능를 비교한다.
• 배경 모델의 과샘플링(over-sampling) 이점의 정량화와 특징-신호 간 상관관계 하에서의 강건성 평가를 수행한다.

제안 방법

• Masked Autoregressive Flows(MAF)을 사용하여 외부(사이드밴드) 영역에서 p(x|m not in SR)를 모델링하기 위한 조건부 밀도 추정기를 훈련한다.
• 학습된 외부 밀도를 신호 영역으로 보간하고, 보간된 배경 밀도에서 샘플링하여 SR에서 배경 유사 이벤트를 생성한다.
• SR의 데이터와 샘플링된 배경 이벤트를 구분하도록 분류기를 학습시켜, 따라서 우도 비율 p_data(x|m)/p_bg(x|m)을 근사한다.
• 결과의 안정화를 위해 밀도 추정 및 분류기 예측에 모델 상태의 앙상블(10 에폭)을 사용한다.
• 분류기 학습과 이상 탐지 민감도 향상을 위해 많은 합성 배경 이벤트를 생성하여 배경 모델을 과샘플링한다.
• SIC(Significance Improvement Characteristic)을 사용해 성능을 평가하고 CWOLA Hunting, A-node, 이상화된 이상 탐지기, 완전한 감독 분류기와 비교한다.
• 일관된 샘플링을 보장하기 위해 특징 전처리(logit 변환, 표준화) 및 m_JJ의 KDE 기반 샘플링을 처리한다.

실험 결과

연구 질문

• RQ1 CATHODE가 데이터-대-배경 이상 탐지 설정에서 최적의 우도비 탐지기에 근접할 수 있는가?
• RQ2 신호 강도에 걸쳐 CATHODE가 CWOLA Hunting(버프 헌트 기반 강화) 및 순수한 밀도 추정 접근(A-node)과 비교하여 어떠한 성능을 보이는가?
• RQ3 CATHODE가 SR 및 SB에서 보조 특징 x와 범프 변수 m_JJ 간의 상관관계에 대해 다른 방법들이 어렵게 만드는 상관성에 대해 견고한가?
• RQ4 배경 모델의 과샘플링이 이상 탐지 성능에 미치는 영향은 무엇이며 최적 샘플링 크기는 어느 정도인가?
• RQ5 신호-대-배경 비(S/B)가 변할 때, 특히 낮은 S/B에서 CATHODE의 성능은 어떠한가?

주요 결과

• CATHODE는 LHCO R&D 데이터셋에서 광범위한 신호 효율성 범위에 대해 CWOLA Hunting 및 A-node보다 우수하다.
• 본 방법은 최대 SIC가 약 14에 도달하여 A-node(≈6.5) 및 CWOLA Hunting(≈11)을 상회한다.
• CATHODE의 성능은 이상 탐지기의 이론적 이상에 근접하여 이 설정에서 이론적 상한의 거의 포화에 근접함을 시사한다.
• 이 방법은 x와 m_JJ 간의 상관관계에 대해 견고하게 작동하며, 상관관계에서 상당히 악화되는 CWOLA Hunting과는 다르다.
• 배경 모델의 과샘플링(예: 약 200k 합성 SR 배경 이벤트 사용)은 SIC를 크게 향상시키며, 일정 크기 이상에서 수익이 감소한다.