[논문 리뷰] arXiv : The Dark Machines Anomaly Score Challenge: Benchmark Data and Model Independent Event Classification for the Large Hadron Collider

T. K. Aarrestad, M. Bóna외 37명|arXiv (Cornell University)|2021. 05. 28.

Particle physics theoretical and experimental studies참고 문헌 61인용 수 12

한 줄 요약

이 논문은 13 TeV 중심질량 에너지에서 10 페트라버브 이상의 LHC 이벤트를 10억 건 이상 시뮬레이션한 벤치마크 데이터셋을 소개하여, 새로운 물리학 탐색을 위한 모델에 종속되지 않고 비지도 이상 탐지 기반의 분석을 가능하게 한다. 다양한 이상 탐지 및 밀도 추정 알고리즘을 평가하여 향후 LHC 런 3 분석을 위한 성능 기준과 실용적인 통찰을 수립한다. 표준화되고 공개 가능한 프레임워크를 사용한다.

ABSTRACT

We describe the outcome of a data challenge conducted as part of the Dark Machines Initiative and the Les Houches 2019 workshop on Physics at TeV colliders. The challenged aims at detecting signals of new physics at the LHC using unsupervised machine learning algorithms. First, we propose how an anomaly score could be implemented to define model-independent signal regions in LHC searches. We define and describe a large benchmark dataset, consisting of >1 Billion simulated LHC events corresponding to $10~ m{fb}^{-1}$ of proton-proton collisions at a center-of-mass energy of 13 TeV. We then review a wide range of anomaly detection and density estimation algorithms, developed in the context of the data challenge, and we measure their performance in a set of realistic analysis environments. We draw a number of useful conclusions that will aid the development of unsupervised new physics searches during the third run of the LHC, and provide our benchmark dataset for future studies at this https URL. Code to reproduce the analysis is provided at this https URL.

연구 동기 및 목표

• 이상 점수를 활용한 신호 영역 정의에 있어 모델에 종속되지 않는 접근법을 개발하기 위해.
• 13 TeV 프로톤-프로톤 충돌에서 10 fb⁻¹에 해당하는 대규모이고 현실적인 시뮬레이션 데이터셋을 구축하기 위해.
• 사전에 알려진 신호 모델 없이도 다양한 비지도 기계학습 알고리즘의 새로운 물리학 신호 탐지 성능을 평가하기 위해.
• 향후 LHC에서 비지도 신물리학 탐색을 위한 표준화되고 재현 가능한 프레임워크를 제공하기 위해.
• LHC 런 3로의 전환을 지원하기 위해 알고리즘 선택 및 구현에 실질적인 통찰을 제공하기 위해.

제안 방법

• 다양한 비지도 기계학습 알고리즘을 사용하여 고차원 LHC 이벤트 데이터에서 드문 또는 예상치 못한 이벤트 패턴을 식별하기 위해 이상 점수를 계산한다.
• 10 fb⁻¹의 13 TeV 프로톤-프로톤 충돌을 시뮬레이션한 10억 건 이상의 대규모 벤치마크 데이터셋을 생성한다.
• 성능 평가를 위해 표준 모델 배경과 다양한 새로운 물리학 신호 모델을 포함한다.
• 실제 분석 환경에서 다양한 이상 탐지 및 밀도 추정 알고리즘을 평가하여 그들의 신호 감도와 강건성(로버스트니)을 비교한다.
• 배경 기각률을 고정한 상태에서의 신호 효율성과 같은 표준 지표를 사용하여 성능을 측정함으로써 알고리즘 간 비교를 가능하게 한다.
• 데이터 생성 및 평가를 포함한 전체 분석 파이프라인은 재현 가능한 코드로 구현되었으며, 공개되어 있다.

실험 결과

연구 질문

• RQ1 사전에 신호 모델을 알지 못하는 조건에서 비지도 이상 탐지 알고리즘이 새로운 물리학 신호를 얼마나 효과적으로 식별할 수 있는가?
• RQ2 실제 LHC 분석 환경에서 다양한 이상 탐지 및 밀도 추정 방법의 상대적 강점과 약점은 무엇인가?
• RQ3 데이터셋 크기와 복잡도 증가에 따라 이상 탐지 알고리즘의 성능은 어떻게 변화하는가?
• RQ4 LHC 수준의 이벤트 분류에서 알고리즘 성능에 가장 크게 영향을 주는 주요 설계 선택 사항과 하이퍼파rameter는 무엇인가?
• RQ5 표준화되고 모델에 종속되지 않는 벤치마크 데이터셋은 비지도 신물리학 탐색의 재현 가능성과 진전을 어떻게 향상시킬 수 있는가?

주요 결과

• 10억 건 이상의 시뮬레이션된 LHC 이벤트로 구성된 벤치마크 데이터셋은 비지도 이상 탐지 알고리즘 테스트를 위한 확장 가능하고 현실적인 기반을 제공한다.
• 일부 비지도 알고리즘이 경쟁적인 신호 탐지 성능을 달성하며, 일부는 전통적인 모델 특화 전략과 유사하거나 이를 도달한다.
• 알고리즘 간 이상 탐지 성능에 큰 격차가 있으며, 일부 알고리즘은 고차원 이벤트 특징과 복잡한 배경에 대해 강건성을 보인다.
• 알고리즘 감도와 재현 가능성에 가장 크게 영향을 주는 핵심 하이퍼파rameter와 구현 선택 사항을 규명하였다.
• 표준화되고 공개된 데이터셋과 코드의 가용성으로 인해 새로운 비지도 탐색 방법의 직접 비교와 가속화된 개발이 가능해졌다.
• 결과는 LHC 런 3 및 향후 비지도 신물리학 탐색을 구현하기 위한 실질적인 지침을 제공한다.