[논문 리뷰] Direct optimisation of the discovery significance when training neural networks to search for new physics in particle colliders

A. Elwood, D. Krücker|arXiv (Cornell University)|2018. 01. 01.

Particle physics theoretical and experimental studies참고 문헌 12인용 수 10

한 줄 요약

이 논문은 입자물리학 검색에서 통계적 발견의 의미를 직접 최대화하기 위해 설계된 두 가지 새로운 신경망 손실 함수를 소개한다. 이 손실 함수는 s/√(s+b) 및 아시모프의 의미 추정치를 최적화하기 위해 설계되었으며, 14 TeV 데이터 30 fb⁻¹의 시뮬레이션된 LHC SUSY 검색에서 훈련한 결과, 특히 높은 체계적 불확실성이 존재할 경우, 표준 이진 교차 엔트로피보다 뛰어난 성능을 보였다. 아시모프 기반 손실은 9.9 ± 1.6σ의 의미를 기록했고, 표준 교차 엔트로피 대비 6.4 ± 0.7σ보다 높은 의미를 확보했다. 이는 선택 영역에서의 신호 순도가 더 높기 때문이다.

ABSTRACT

We introduce two new loss functions designed to directly optimise the statistical significance of the expected number of signal events when training neural networks to classify events as signal or background in the scenario of a search for new physics at a particle collider. The loss functions are designed to directly maximise commonly used estimates of the statistical significance, $s/\sqrt{s+b}$, and the Asimov estimate, $Z_A$. We consider their use in a toy SUSY search with 30~fb$^{-1}$ of 14~TeV data collected at the LHC. In the case that the search for the SUSY model is dominated by systematic uncertainties, it is found that the loss function based on $Z_A$ can outperform the binary cross entropy in defining an optimal search region.

연구 동기 및 목표

• 표준 분류 손실 함수(예: 이진 교차 엔트로피)와 신규 물리학 검색의 진정한 목표 사이의 괴리, 즉 정확도가 아닌 통계적 의미를 최대화하는 것에 대응하기 위해.
• 신경망 훈련 중에 직접적으로 예상되는 발견의 의미, 특히 s/√(s + b)와 아시모프 Z 추정치를 최적화하는 손실 함수를 개발하기 위해.
• 체계적 불확실성이 지배적인 상황에서 이러한 의미 최적화 손실 함수가 성능 향상에 기여하는지 평가하기 위해.
• 의미 최적화에 의한 직접 최적화가 표준 훈련 목표보다 높은 신호 순도와 더 나은 분리 능력을 제공함을 입증하기 위해.

제안 방법

• s/√(s+b)와 아시모프 Z 추정치를 고려한 두 가지 새로운 손실 함수 ℓs/√(s+b) 및 ℓAsimov를 제안하며, 이는 신호 대 배경의 예상 통계적 의미를 직접 최적화한다.
• 손실 함수는 네트워크 출력 점수에서 유도된 추정된 신호(s) 및 배경(b) 이벤트 수를 사용하여 계산되며, 의미는 아시모프 공식 ZA = (s + b) / √(s + b) 및 s/√(s + b)를 비교하기 위해 사용된다.
• 신경망은 이 의미 기반 손실 함수를 사용하여 확률적 경사 하강법으로 훈련되며, 140만 개의 이벤트(신호 50%, 배경 50%)로 구성된 사전 선택된 데이터셋을 사용한다.
• 입력 특징은 주로 주로 제트 및 레프톤의 저수준 변수(에너지, 횡방향 운동량, 위상각 등)와 고수준 변수인 HT, ET/, mT 등을 포함한다.
• 데이터 누출을 방지하기 위해 별도의 60만 개 이벤트 테스트 샘플을 전용으로 사용한다.
• 성능 평가는 분류기 점수 컷을 스캔하고 체계적 불확실성을 파oisson 오차를 통해 전파하여 아시모프 의미를 계산함으로써 평가된다.

실험 결과

연구 질문

• RQ1 신경망 훈련 중에 통계적 의미를 직접 최적화하면 신규 물리학 검색에서 발견 감도가 향상되는가?
• RQ2 아시모프 의미 추정 기반 손실 함수는 체계적 불확실성이 존재할 경우 표준 이진 교차 엔트로피보다 높은 신호 순도와 더 높은 의미를 제공하는가?
• RQ3 신호와 배경이 운동역학적으로 유사하지만 배경이 지배적인 압축된 SUSY 모델에서 이러한 새로운 손실 함수는 어떻게 성능을 발휘하는가?
• RQ4 의미 최적화 손실 함수의 성능 향상 정도는 배경의 체계적 불확실성 수준에 따라 달라지는가?

주요 결과

• 압축되지 않은 SUSY 모델(900 GeV 스토퍼, 100 GeV LSP)에서는 통계적 불확실성이 의미를 지배하기 때문에, 이진 교차 엔트로피, ℓs/√(s+b), ℓAsimov 세 손실 함수 모두 유사한 성능을 보였다.
• 압축된 SUSY 모델(600 GeV 스토퍼, 400 GeV LSP)에서는 체계적 불확실성이 지배적이므로, ℓAsimov 손실 함수는 50% 체계적 불확실성 하에서 9.9 ± 1.6σ의 의미를 기록했고, 이는 표준 이진 교차 엔트로피의 6.4 ± 0.7σ보다 뚜렷하게 뛰어났다.
• ℓAsimov 최적화 네트워크는 약 30의 신호 순도(s/b)를 기록했으며, 이는 이진 교차 엔트로피의 약 6과 ℓs/√(s+b)의 약 1보다 훨씬 높은 수준을 의미한다. 이는 우수한 신호 농축 능력을 보여준다.
• ℓs/√(s+b) 손실 함수는 체계적 불확실성을 고려하지 않기 때문에, 압축된 모델에서 성능이 열악했으며, 결과적으로 약 1의 낮은 신호 순도를 기록했다.
• ℓAsimov 손실 함수는 컷 선택에 대해 강건했으며, 분류기 점수 컷이 약 0.5 이상일 경우 최적 성능 유지되었고, 이는 하이퍼파rameter 튜닝의 필요성을 줄였다.
• ℓs/√(s+b)로 사전 훈련한 후 ℓAsimov 최적화를 수행하면 훈련 시간이 크게 단축되어 실용적인 훈련 전략으로 유용하다.