[논문 리뷰] Uncertainty Aware Learning for High Energy Physics

A. Ghosh, Benjamin Nachman외 1명|arXiv (Cornell University)|2021. 05. 18.

Particle physics theoretical and experimental studies참고 문헌 32인용 수 5

한 줄 요약

이 논문은 고에너지 물리학에서 체계적 불확실성에 대한 민감도를 향상시키기 위해 훈련 중 부수적 매개변수에 대한 의존성을 명시적으로 모델링하는 불확실성 인식 분류기를 제안한다. 전통적인 방법에 비해 성능 향상을 이룬다. 분류기를 체계적 불확실성과 분리시키는 대신, 이에 민감하도록 훈련시킴으로써, 정규분포 및 힉스 보손 붕괴(H→ττ) 데이터셋 모두에서 더 나은 성능을 달성한다. 특히 체계적 이완이 발생할 경우에 유의미한 성능 향상이 나타난다.

ABSTRACT

Machine learning techniques are becoming an integral component of data analysis in High Energy Physics (HEP). These tools provide a significant improvement in sensitivity over traditional analyses by exploiting subtle patterns in high-dimensional feature spaces. These subtle patterns may not be well-modeled by the simulations used for training machine learning methods, resulting in an enhanced sensitivity to systematic uncertainties. Contrary to the traditional wisdom of constructing an analysis strategy that is invariant to systematic uncertainties, we study the use of a classifier that is fully aware of uncertainties and their corresponding nuisance parameters. We show that this dependence can actually enhance the sensitivity to parameters of interest. Studies are performed using a synthetic Gaussian dataset as well as a more realistic HEP dataset based on Higgs boson decays to tau leptons. For both cases, we show that the uncertainty aware approach can achieve a better sensitivity than alternative machine learning strategies.

연구 동기 및 목표

• 기계학습 기반 고에너지 물리학 분석에서 증가하는 체계적 불확실성 문제에 대응한다.
• 기존의 분류기가 부수적 매개변수에 민감하지 않도록 하는 접근 방식을 도전한다.
• 학습 과정에 불확실성 인식을 명시적으로 통합함으로써 관심 매개변수에 대한 민감도를 향상시킨다.
• 훈련 중 부수적 매개변수에 대한 의존도를 극대화함이 체계적 이완 상황에서 성능 향상에 기여함을 입증한다.
• 기존 LHC 분석 파이프라인에 불확실성 인식을 통합할 수 있는 실용적 프레임워크를 제공한다.

제안 방법

• 부수적 매개변수를 입력 특성으로 명시적으로 의존하는 파arameterized 분류기를 훈련한다.
• 부수적 매개변수를 포함한 전체 불확실성 구조를 고려한 가능도 기반 손실 함수를 사용한다.
• 불확실성 인식 분류기를 기준선, 데이터 증강, 적대적 훈련 기반선과 비교한다.
• 평가 중에 부수적 매개변수를 프로파일링하여 각 값에 대해 최적의 분류기를 선택한다.
• 합성 정규분포 데이터셋과 실제 힉스 보손 붕괴(H→ττ) 데이터셋에 모두 이 방법을 적용한다.
• 민감도 및 불확실성 정량화 평가를 위해 프로파일링된 음의 로그가능도(NLL) 곡선을 사용한다.

실험 결과

연구 질문

• RQ1 부수적 매개변수에 대해 명시적으로 민감한 기계학습 분류기가 체계적 불확실성이 존재하는 상황에서 기존 방법보다 우월한 성능을 보일 수 있는가?
• RQ2 불확실성 인식 훈련이 데이터 증강 및 적대적 훈련에 비해 민감도와 내성에 있어 어떻게 비교되는가?
• RQ3 불확실성 인식이 통합된 경우, 부수적 매개변수의 체계적 이완이 분류기 성능에 어떤 영향을 미치는가?
• RQ4 부수적 매개변수에 대한 의존도를 극대화함이 고에너지 물리 측정의 총합 민감도를 향상시키는가?
• RQ5 불확실성 인식 분류기는 최소한의 계산 오버헤드로 실제 LHC 분석에 실용적으로 적용될 수 있는가?

주요 결과

• 기본선 분류기와 달리, 불확실성 인식 분류기는 부수적 매개변수(z)의 진짜 값이 훈련 시 가정한 값에서 벗어나도 이상적인 성능을 유지한다.
• 정규분포 예제에서, 체계적 이완 상황에서 불확실성 인식 분류기는 기본선, 데이터 증강, 적대적 훈련 방법보다 더 좁은 프로파일링된 NLL 곡선을 달성한다.
• H→ττ 데이터셋의 경우, 진짜 μ 값이 1일 때 불확실성 인식 분류기가 모든 기준선보다 민감도에서 뛰어나며, 특히 체계적 이완(z=0.8 및 z=1.1) 상황에서 두드러진 성능 향상을 보인다.
• 데이터가 z=1.0(노멀) 조건에서 생성된 경우, 모든 분류기가 잘 작동하지만, 불확실성 인식 접근법은 비노멀 조건에서 더 뛰어난 성능을 유지한다.
• 이 방법은 부수적 매개변수의 이완에 대해 강건하며, 프로파일링 과정에서 진짜 부수적 매개변수 값에 맞게 분류기를 적응시킴으로써 더 정밀한 측정을 제공한다.
• 이 방법은 계산적으로 실현 가능하며, 최소한의 수정으로 기존 LHC 분석 워크플로우에 통합될 수 있어, 체계적 불확실성에 의해 제한되는 분석에 큰 성과를 이끌어낸다.