[논문 리뷰] Dealing with Nuisance Parameters using Machine Learning in High Energy Physics: a Review

T. Dorigo, Pablo de Oliveira Castro|arXiv (Cornell University)|2020. 07. 17.

Particle physics theoretical and experimental studies참고 문헌 55인용 수 7

한 줄 요약

이 논문은 고에너지물리학에서의 성향 매개변수—즉, 완벽한 시뮬레이션 부족으로 인한 체계적 불확실성—가 통계적 추론에 미치는 영향을 줄이기 위한 기계학습 기법을 검토한다. 수정된 손실 함수와 밀도 비율 추정과 같은 추론 인식 기반 방법을 제안하여 모델 훈련을 최종 통계적 목표와 직접 연결함으로써, 기존 분류 기반 접근 방식에 비해 발견 감도와 매개변수 추정 정확도가 크게 향상됨을 보여준다.

ABSTRACT

In this work we discuss the impact of nuisance parameters on the effectiveness of machine learning in high-energy physics problems, and provide a review of techniques that allow to include their effect and reduce their impact in the search for optimal selection criteria and variable transformations. The introduction of nuisance parameters complicates the supervised learning task and its correspondence with the data analysis goal, due to their contribution degrading the model performances in real data, and the necessary addition of uncertainties in the resulting statistical inference. The approaches discussed include nuisance-parameterized models, modified or adversary losses, semi-supervised learning approaches, and inference-aware techniques.

연구 동기 및 목표

• 불완전한 시뮬레이션으로 인한 성향 매개변수—체계적 불확실성—가 고에너지물리학에서 기계학습 모델 성능과 통계적 추론을 떨어뜨리는 문제를 해결한다.
• 표준 기계학습 훈련 목표(예: 분류 정확도)와 실제 추론 목표(예: 매개변수 추정 또는 가설 검정) 사이의 괴리점을 규명한다.
• 성향 매개변수를 학습 과정에 직접 통합하여 강건성과 통계적 검정력을 향상시키는 고급 기계학습 기법을 검토하고 평가한다.
• 추론 인식 모델이 모델 불확실성 하에서도 기존 분류 기반 요약 통계량에 비해 감도와 정밀도 면에서 뛰어나다는 것을 입증한다.
• 성향 인식 표현 학습을 위한 새로운 방법들, 예를 들어 손실 수정, 준지도 학습, 피셔 정보 최대화에 대한 종합적인 개요를 제공한다.

제안 방법

• 고에너지물리학에서의 지도 학습을 밀도 비율 추정 문제로 재정의하여, 분류기 출력이 신호와 배경 이벤트 밀도의 비율을 근사하게 하며 베이즈의 정리에 의해 추론이 가능하도록 한다.
• 성향 매개변수를 조건으로 하는 모델을 도입하여 훈련 중에 분류기를 성향 매개변수에 조건화함으로써, 불변 표현을 학습할 수 있도록 한다.
• 성향 매개변수에 대한 모델 의존도를 억제하면서도 관심 있는 매개변수에 대한 민감도는 유지하는 수정된 또는 적대적 손실 함수를 적용한다.
• 실제 데이터 제약 조건을 훈련 중에 통합함으로써 준지도 학습을 활용하여 편향이 있을 수 있는 시뮬레이션에 대한 의존도를 줄인다.
• Inferno와 Neos와 같은 추론 인식 훈련 목표를 구현하여 통계적 검정력(예: CLs 상한)이나 피셔 정보를 최적화함으로써, 훈련을 최종 추론 목표와 직접 맞춘다.
• 다양한 가속화 변환과 기울기 기반 최적화(예: 固定点 미분)를 활용하여 프로파일 우도의 기울기를 계산함으로써, 성향 불확실성 하에서 요약 통계량의 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 데이터의 성향 매개변수가 고에너지물리학에서 표준 기계학습 모델의 성능을 어떻게 떨어뜨리는가?
• RQ2 수정된 손실 함수가 학습된 요약 통계량의 체계적 불확실성에 대한 민감도를 어느 정도 줄일 수 있는가?
• RQ3 CLs나 피셔 정보를 최적화하는 추론 인식 훈련 목표는 성향 매개변수가 존재할 경우 기존 분류 기반 특징 학습에 비해 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 밀도 비율 추정과 스코어 기반 요약 통계량은 모델 불확실성 하에서도 통계적 검정력을 어느 정도 유지하는가?
• RQ5 기존 기계학습 프레임워크(예: 신경망)를 원칙적으로 성향 매개변수를 다룰 수 있도록 확장할 때의 실용적 제약 조건과 상충 관계는 무엇인가?

주요 결과

• CLs나 피셔 정보를 최적화하는 추론 인식 기계학습 기법은 기존 분류 기반 요약 통계량에 비해 통계적 검정력과 새로운 물리 신호 탐지 민감도 면에서 뚜렷이 뛰어나다.
• Inferno와 Neos와 같은 기법은 예상 상한(예: CLs)을 직접 최적화함으로써 기존 모델보다 우수한 성능을 내며, 체계적 불확실성의 영향을 감소시킨다.
• 신경망을 통한 밀도 비율 추정은 정보량이 많고 성향 매개변수에 강건한 요약 통계량을 구성하는 데 효과적인 프레임워크를 제공한다.
• 네트워크 출력의 공분산 행렬의 행렬식을 손실 함수에 통합하는 방법은 불확실성 하에서 훈련의 안정성과 일반화 성능을 향상시킨다.
• Neos에서 고정점 미분을 사용하면 헤시안 행렬 근사 없이도 프로파일 우도를 직접 최적화할 수 있어, 불확실성 정량화의 정확도가 향상된다.
• 간단한 수정—예를 들어 체계적 불확실성 영향을 손실 함수에 직접 포함시키는 것—조차도 힉스 보손 벤치마크 확장 사례에서 뚜렷한 민감도 향상과 강건성을 이끌어내는 데 기여한다.