[논문 리뷰] Data-driven Estimation of Background Distribution through Neural Autoregressive Flows

S. Choi, J. Lim외 1명|arXiv (Cornell University)|2020. 08. 09.

Model Reduction and Neural Networks참고 문헌 19인용 수 10

한 줄 요약

이 논문은 고에너지 물리학에서 배경 분포를 추정하기 위해 신경 자동재귀 흐름(NAF)을 사용하는 데이터 기반 방법인 ABCDnn을 제안한다. 이는 여러 제어 영역에서 복잡하고 상관관계가 있는 변환을 학습하여 신호 영역으로 외삽하는 방식이다. 기존의 확장된 ABCD 기법에 비해 통계적 불확실성을 감소시키고 다차원 상관관계를 더 잘 유지함으로써 최적에 가까운 예측을 달성하며, 통계적 변동에 더 강건한 성능을 보인다.

ABSTRACT

We report on a general and automatic data-driven background distribution shape estimation method using neural autoregressive flows (NAF), which is one of the deep generative learning methods. Data-driven background estimation is indispensable for many analyses involving complicated final states where reliable predictions are not available. NAF allow us to construct general bijective transformations that operate on multidimensional space, out of finite number of invertible one-dimensional functions. Given its simplicity and universality, it is well suited to the application in the data-driven background estimation, since data-driven estimations can be expressed as transformations. In a data-driven background estimation, the goal is to derive appropriate transformations and apply extrapolated transformations to the region of interest. In the ABCDnn method, we can have the NAF learn the transformations' dependence on control variables by having multiple control regions. We demonstrate that the prediction through ABCDnn method is similar to optimal case, while having smaller statistical uncertainty.

연구 동기 및 목표

• 이론적 예측이 신뢰할 수 없는 복잡하고 고차원적인 위상공간에서 배경 분포를 추정하기 위한 일반적이고 자동화된 방법을 개발하는 것.
• 기존 ABCD 기법의 한계를 해결하는 것 — 단일 변수 처리에 국한되고 다차원 외삽에서 높은 통계적 불확실성을 겪는다.
• 딥 러닝을 활용해 특징 변수와 제어 변수 간의 비선형 상관관계를 모델링하여 더 정확하고 강건한 배경 예측을 가능하게 하는 것.
• 희귀 과정과 복잡한 최종 상태에 적용 가능한 체계적이고 해석 가능한 배경 추정 프레임워크를 제공하는 것.
• 시뮬레이션 데이터를 사용한 실제 $t\bar{t}+\text{multijets}$ 배경 추정 시나리오에서 본 방법의 효과성을 입증하는 것.

제안 방법

• ABCDnn 방법은 배경 추정을 변환 문제로 모델링하며, 신호 영역의 분포를 제어 영역 데이터로부터 이종적(비가역적 아님) 변환으로 학습한다.
• 신경 자동재귀 흐름(NAF)은 일련의 일변도 단조함수를 사용해 기본 분포에서 일반적이고 가역적인 변환을 구성한다.
• 변환 파rameter는 제어 변수 $\vec{c}$ 에 조건화되어 있어, 위상공간의 다양한 영역에서 분포가 어떻게 변화하는지 모델이 학습할 수 있도록 한다.
• 이 방법은 다수의 제어 영역 데이터에서 종합적으로 훈련되어 배경 형상이 제어 변수에 대해 다차원적으로 어떻게 의존하는지 학습한다.
• 블랙박스 DNN와 달리 NAF는 자동재귀 구조 덕분에 해석 가능성이 있으며, 각 특징이 변환에 어떻게 기여하는지 분석이 가능하다.
• 신호 영역이 제어 영역에 둘러싸여 있든 아니면 그렇지 않든 간에 내삽과 외삽을 일관되게 처리할 수 있으며, 상관관계도 잘 유지된다.

실험 결과

연구 질문

• RQ1 Monte 카를로 시뮬레이션에 의존하지 않고도 NAF와 같은 깊은 생성 모델이 고에너지 물리학에서 복잡하고 상관관계가 있는 배경 분포를 효과적으로 모델링할 수 있는가?
• RQ2 다차원 위상공간에서 배경 형상 추정 시, ABCDnn 방법은 확장된 ABCD 방법에 비해 통계적 불확실성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 NAF 기반 변환은 데이터 기반 배경 추정에서 제어 변수와 배경 특징 간의 비선형 의존성을 어느 정도 잘 학습할 수 있는가?
• RQ4 기존의 일변도 히스토GRAM 기반 ABCD 방법과 달리, ABCDnn 방법은 외삽 과정에서 다중 특징 간의 상관관계를 유지할 수 있는가?
• RQ5 특히 일부 백터의 통계적 불확실성이 높을 경우, ABCDnn 방법은 제어 영역의 통계적 변동에 강건한가?

주요 결과

• ABCDnn 방법은 복잡한 다제트 최종 상태에서 최적의 경우와 통계적으로 일치하는 배경 예측을 달성하여 높은 정확도를 보였다.
• 확장된 ABCD 방법에 비해 ABCDnn은 특히 제어 영역에서 통계가 희박한 영역에서 유의미하게 낮은 통계적 불확실성을 보였다.
• 이 방법은 특징 간의 다차원 상관관계를 변환 과정에서 성공적으로 유지하여 일변도 히스토GRAM 기반 접근보다 더 정확한 외삽이 가능했다.
• 신호 영역에서 제5 및 제6 라인 주요 임펄스 운동량 $p_T$ 와 $H_T$, 그리고 부족 에너지 $E_T$ 분포에서 ABCDnn의 예측이 진짜 배경 분포와 거의 정확히 일치했다.
• NAF 기반 변환은 해석 가능하며, 제어 변수가 배경 형상에 어떻게 영향을 주는지 분석이 가능하여 표준 DNN와는 다름을 보였다.
• 이 방법은 일반적이며 두 개 이상의 제어 변수가 있는 경우나 실제 데이터와 시뮬레이션 간의 보정을 학습하는 데도 확장하거나 응용할 수 있다.