[논문 리뷰] Unifying Simulation and Inference with Normalizing Flows

Haoxing Du, Claudius Krause외 4명|arXiv (Cornell University)|2024. 04. 29.

Simulation Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 정규화 흐름(NFs)을 사용하여 검출기 校정과 불확실성 추정을 통합하는 프레임워크를 제안한다. 조건부 NF에서 최대우도추정(MLE)을 통해 사전 정보에 의존하지 않는 에너지 회귀와 쇼워별 해상도 추정이 가능해지며, 이는 시뮬레이션된 ATLAS 유사 캘로리미터 데이터셋에서 보다 정확한 校정 정확도와 신뢰할 수 있는 쇼워별 불확실성 추정을 통해 성능 향상을 입증한다.

ABSTRACT

There have been many applications of deep neural networks to detector calibrations and a growing number of studies that propose deep generative models as automated fast detector simulators. We show that these two tasks can be unified by using maximum likelihood estimation (MLE) from conditional generative models for energy regression. Unlike direct regression techniques, the MLE approach is prior-independent and non-Gaussian resolutions can be determined from the shape of the likelihood near the maximum. Using an ATLAS-like calorimeter simulation, we demonstrate this concept in the context of calorimeter energy calibration.

연구 동기 및 목표

• 딥 생성 모델을 활용하여 고에너지 물리학에서 검출기 校정과 불확실성 추정(UQ)을 통합하는 것.
• 사전 정보에 의존하고 불확실성 추정이 없는 직접 회귀 방법의 한계를 해결하는 것.
• 점 추정을 넘어서 보다 정밀한 校정을 위한 쇼워별 해상도 추정을 가능하게 하는 것.
• 정규화 흐름이 가우시안 근사에서 접근할 수 없는 비가우시안, 비대칭 해상도 함수를 포착할 수 있음을 입증하는 것.

제안 방법

• 조건부 정규화 흐름(NFs), 특히 마스크된 순차적 흐름(MAFs)과 분수 제곱 스플라인(RQS)을 사용하여 $ p(E_{\text{dep}} | E_{\text{inc}}) $의 가능도를 모델링함으로써 샘플링과 밀도 추정이 가능해진다.
• NF는 최대우도추정(MLE)을 통해 $ -\log p_{1}(\vec{E} | E_{\text{inc}}) $를 최소화하도록 훈련되어 사전 정보에 의존하지 않으며 정확한 가능도 접근이 보장된다.
• 입력 특징은 사전 처리됨: $ E_{\text{inc}} \to \log_{10}(E_{\text{inc}}/10\ \text{GeV}) $ 및 $ E_i \to 2(\log_{10}(E_i + 1\ \text{keV}) - 1) $로 훈련 안정성을 향상시킴.
• 과적합 방지를 위해 훈련 및 평가 중 병렬체 에너지에 [0, 0.1] keV의 균일한 노이즈를 적용함.
• Adam 최적화를 사용하여 150 에포크 동안 배치 크기 200으로 훈련하고, 다단계 학습률 스케줄을 적용함.
• 모드 근처 가능도의 곡률을 통해 쇼워별 해상도를 추정함으로써 이벤트별 불확실성 추정이 가능해짐.

Figure 1: Generated versus reference energy distributions in our new ECAL+HCAL calorimeter setup for uniformly distributed incident energies $E_{\rm inc}$ . The energy deposited in layer $i$ is denoted by $E_{i}$ and the energy deposited in the calorimeter is denoted by $E_{\rm dep}=\sum_{i=0}^{6}E_

실험 결과

연구 질문

• RQ1 정규화 흐름은 사전 정보에 의존하지 않는 방식으로 검출기 校정과 불확실성 추정을 통합할 수 있는가?
• RQ2 NF 기반 MLE 기반 校정은 직접 회귀 대비 편향과 해상도 추정 측면에서 어떻게 성능이 뛰어나며?
• RQ3 NF는 가우시안 가설이 포착하지 못하는 비가우시안, 비대칭 해상도 함수를 포착할 수 있는가?
• RQ4 NF에서 유도된 쇼워별 해상도 추정은 校정 정확도와 상관관계를 가지는가? 이는 신뢰성의 지표가 되는가?
• RQ5 NF에서의 전체 가능도 접근은 점 추정과 가우시안 근사 이외의 방법보다 더 나은 校정 성능을 가능하게 하는가?

주요 결과

• 시뮬레이션된 캘로리미터에서 10만 개의 파이온 쇼워를 대상으로 한 DNN 직접 회귀 모델 대비 NF 기반 校정 방법(CaloFlow)이 훨씬 낮은 편향을 보였다.
• CaloFlow에서 추정한 평균 쇼워별 해상도는 전체 해상도 함수와 매우 유사하게 일치하여 그 신뢰성과 타당성이 입증되었다.
• CaloFlow에서 유도된 더 작은 쇼워별 해상도는 더 정확한 校정과 관련되어 있었으며, 이는 불확실성 추정이 의미 있고 신뢰할 수 있음을 시사한다.
• 이 방법은 가우시안 근사에서 가정하는 대칭적, 가우시안 형태의 해상도 함수 외에도 비가우시안, 비대칭 해상도 함수를 포착할 수 있었으며, 이는 가우시안 근사 대비 명백한 이점이었다.
• NF 접근은 전체 해상도 함수에 대한 접근을 가능하게 하여, 이전 방법보다 더 정확하고도 영리한 불확실성 추정이 가능하게 하였다.

Figure 2: Plot of likelihood evaluated using CaloFlow for a given calorimeter shower originating from a 30 GeV pion (left), 60 GeV pion (middle) and 90 GeV pion (right), respectively. In each plot, the true incident energy $E_{\rm true}$ is shown by the vertical black line, and the evaluated likelih