[논문 리뷰] Model-Independent Detection of New Physics Signals Using Interpretable Semi-Supervised Classifier Tests

Purvasha Chakravarti, Mikael Kuusela외 2명|arXiv (Cornell University)|2021. 02. 15.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 특정 신호 모델을 가정하지 않고 고차원 입자물리학 데이터에서 새로운 물리 신호를 탐지하기 위한 모델 독립적이고 준지도 학습 기반의 분류기 프레임워크를 제안한다. 분류기 기반의 검정 통계량—우도비, AUC, 오분류 오차—을 사용함으로써, 신호가 예상치 못한 경우나 잘못 지정된 경우에 모델 의존적 방법보다 더 높은 검출 능력을 보이며, 힉스 보손 탐색 시뮬레이션을 통해 이를 입증하였다.

ABSTRACT

A central goal in experimental high energy physics is to detect new physics signals that are not explained by known physics. In this paper, we aim to search for new signals that appear as deviations from known Standard Model physics in high-dimensional particle physics data. To do this, we determine whether there is any statistically significant difference between the distribution of Standard Model background samples and the distribution of the experimental observations, which are a mixture of the background and a potential new signal. Traditionally, one also assumes access to a sample from a model for the hypothesized signal distribution. Here we instead investigate a model-independent method that does not make any assumptions about the signal and uses a semi-supervised classifier to detect the presence of the signal in the experimental data. We construct three test statistics using the classifier: an estimated likelihood ratio test (LRT) statistic, a test based on the area under the ROC curve (AUC), and a test based on the misclassification error (MCE). Additionally, we propose a method for estimating the signal strength parameter and explore active subspace methods to interpret the proposed semi-supervised classifier in order to understand the properties of the detected signal. We also propose a Score test statistic that can be used in the model-dependent setting. We investigate the performance of the methods on a simulated data set related to the search for the Higgs boson at the Large Hadron Collider at CERN. We demonstrate that the semi-supervised tests have power competitive with the classical supervised methods for a well-specified signal, but much higher power for an unexpected signal which might be entirely missed by the supervised tests.

연구 동기 및 목표

• 예측 불가능하거나 잘못 지정된 새로운 물리 신호를 탐지하지 못하는 고에너지 물리학에서의 모델 의존적 탐색의 한계를 해결한다.
• 모의 신호 샘플에 의존하지 않고 배경 데이터와 실험 데이터만을 사용하여 모델 독립적인 방법으로 새로운 물리 신호를 탐지한다.
• 기존의 지도 학습 분류기에서 모델 오지정으로 인해 놓치는 새로운 또는 예측 불가능한 신호에 대해 검출 능력을 향상시킨다.
• 활성 부분공간 방법과 신호 강도 추정을 통해 신호 특성의 해석 가능성을 높인다.
• 신호 모델이 불확실하거나 알려져 있지 않은 상황에서 고전적 우도비 검정의 강력한 대안을 제공한다.

제안 방법

• 배경 데이터와 레이블이 없는 실험 데이터를 기반으로 한 준지도 학습 분류기를 사용하여 고차원 이중표본 검정을 위한 세 가지 검정 통계량을 구성한다: 추정 우도비 검정(LRT), ROC 곡선 아래 면적(AUC), 오분류 오차(MCE).
• 신호 시뮬레이션 없이 배경 데이터와 레이블이 없는 실험 데이터로 훈련된 준지도 학습 분류기를 사용하여 신호가 없는 배경과의 편차를 탐지한다.
• 신호 탐지에 기여하는 가장 영향력 있는 데이터 차원을 식별하기 위해 활성 부분공간 방법을 적용한다.
• 실험 샘플 내에서의 신호 이벤트 비율을 정량화하는 새로운 방법을 사용하여 신호 강도 파rameter를 추정한다.
• 모델 의존적 설정에서의 비교를 위해 스코어 검정 통계량을 제안한다.
• 실제 조건에서 성능을 평가하기 위해 LHC에서의 16차원 모의 힉스 보손 탐색 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 신호 모델이 알려져 있거나 잘못 지정된 경우, 모델 독립적 분류기 검정이 새로운 물리 신호를 탐지할 수 있는가?
• RQ2 신호 모델 오지정 상황에서 준지도 학습 분류기 검정의 검출 능력이 고전적 모델 의존적 우도비 검정보다 어떻게 비교되는가?
• RQ3 활성 부분공간 방법은 고차원 데이터에서 신호 탐지에 기여하는 특징들을 어느 정도 해석할 수 있는가?
• RQ4 신호 시뮬레이션 데이터가 없을 때도 신호 강도 추정이 신뢰성 있게 수행될 수 있는가?
• RQ5 잘 지정된 신호에 대해서는 경쟁적인 검출 능력을 유지하면서도, 예측 불가능한 신호에 대해서는 모델 의존적 방법보다 크게 뛰어나게 되는가?

주요 결과

• 제안된 준지도 학습 분류기 검정은 신호 모델이 정확히 지정된 경우 고전적 모델 의존적 방법과 경쟁 가능한 검출 능력을 보인다.
• 신호 모델이 잘못 지정된 경우, 모델 의존적 방법은 완전히 신호를 탐지하지 못하지만, 모델 독립적 접근법은 높은 검출 능력을 유지한다.
• 활성 부분공간 방법은 신호 탐지에 기여하는 가장 관련성이 높은 데이터 차원을 성공적으로 식별하여, 해석 가능한 신호 특성 분석을 가능하게 한다.
• 신호 시뮬레이션 데이터에 접근할 수 없어도, 신호 강도 추정은 가능하고 정확하며, 신호 존재의 정량적 측정을 제공한다.
• AUC 기반 및 MCE 기반 검정 통계량은 다양한 신호 구성 조건에서 뛰어난 강건성과 높은 검출 능력을 보이며, 특히 고차원 환경에서 두드러진다.
• 제안된 방법은 새로운 입자의 성질에 대한 사전 지식 없이도 탐지할 수 있어, 탐색적 물리 탐사에서 중요한 이점을 제공한다.