[논문 리뷰] Chained Quantile Morphing with Normalizing Flows

S. Bright-Thonney, Philip Harris외 2명|arXiv (Cornell University)|2023. 09. 27.

Particle physics theoretical and experimental studiesPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 고에너지 물리학에서 몽테카를로 시뮬레이션을 보정하기 위해, 연쇄적 분위수 변형과 정규화 흐름을 결합한 딥러닝 기반 방법인 Chained Quantile Morphing with Normalizing Flows (CQM-NF)를 제안한다. 이 방법은 유사한 데이터 분포로 시뮬레이션된 이벤트 분포를 변환함으로써 실제 데이터와 더 잘 일치하도록 한다. 연속적인 조건부 누적분포함수를 모델링하기 위해 역행가능한 정규화 흐름을 사용하여, 복잡한 상관관계를 유지하면서도 관측량을 반복적으로 보정한다. 이는 MC 커버리지가 열악한 영역에서 재가중치 기반 기법보다 우수하며, 고차원 입자 수준 데이터에서 전통적인 변형 기법에 대한 강력한 대안을 제공한다.

ABSTRACT

Accounting for inaccuracies in Monte Carlo simulations is a crucial step in any high energy physics analysis. It becomes especially important when training machine learning models, which can amplify simulation inaccuracies and introduce large discrepancies and systematic uncertainties when the model is applied to data. In this paper, we introduce a method to transform simulated events to better match data using normalizing flows, a class of deep learning-based density estimation models. Our proposal uses a technique called chained quantile morphing, which corrects a set of observables by iteratively shifting each entry according to a conditonal cumulative density function. We demonstrate the technique on a realistic particle physics dataset, and compare it to a neural network-based reweighting method. We also introduce a new contrastive learning technique to correct high dimensional particle-level inputs, which naively cannot be efficiently corrected with morphing strategies.

연구 동기 및 목표

• 기계학습 모델을 훈련할 때 발생하는 몽테카를로 시뮬레이션의 정확도 부족으로 인한 체계적 불확실성을 해결하기 위해.
• 이산적 연쇄 분위수 변형의 연속적이고, 미분 가능하며 정밀한 대안을 개발하기 위해.
• 기존의 변형 기법으로는 처리가 어려웠던 고차원 입자 수준 입력에 대해 정규화 흐름을 사용하여 효과적으로 보정할 수 있도록 하기 위해.
• 제안된 CQM-NF 기법이 기존의 재가중치 기반 및 변형 기법 대비 분포 일치도 및 관측량 보존 능력 측면에서 어떻게 성능을 발휘하는지 비교하기 위해.

제안 방법

• 이 방법은 몽테카를로(MC) 및 데이터 분포의 조건부 누적분포함수(CDF) 간의 연속적이고 역행가능한 변환을 학습하기 위해 정규화 흐름을 사용한다.
• 각 관측량을 순차적으로 변환함으로써 연쇄적 분위수 변형을 적용하며, 조건부 CDF $ F_i^{\text{MC}}(x_i|\mathbf{x}_{1:i-1}) $ 와 $ F_i^{\text{Data}}(x_i|\mathbf{x}_{1:i-1}) $ 를 활용하여 올바른 주변 및 조건부 의존성을 유지한다.
• 정규화 흐름 아키텍처는 복잡한 고차원 결합분포를 역행가능하고 미분 가능한 변환을 통해 종합적으로 모델링할 수 있도록 한다.
• 표준 변형 기법이 희소성과 복잡성으로 인해 실패하는 고차원 입자 수준 입력의 보정을 향상시키기 위해 대조 학습 기법을 도입한다.
• 물리적 관측량의 구조를 최소한으로 손상시키면서도 원래 MC 샘플의 구조를 유지하면서 데이터 분포 쪽으로 이동시킨다.
• 실제 고에너지 물리학 데이터셋에서 평가되었으며, 신경망 기반 재가중치 기법과 비교하여, 특히 데이터 커버리지가 낮은 영역에서 뛰어난 성능을 보였다.

Figure 1: A schematic demonstrating how chained quantile morphing transforms samples from one $k$ -dimensional PDF $p_{\mathrm{MC}}(x_{1},\ldots,x_{k})$ to another $p_{D}(x_{1},\ldots,x_{k})$ . The shaded regions in blue, green, and orange denote the conditional quantiles of variables $x_{i}$ , $z_{

실험 결과

연구 질문

• RQ1 정규화 흐름이 고에너지 물리학에서 몽테카를로 시뮬레이션을 보정하기 위해 이산적 연쇄 분위수 변형의 연속적이고 정밀한 대안을 제공할 수 있는가?
• RQ2 기존의 변형 전략이 실패하는 고차원 입자 수준 입력에서 제안된 CQM-NF 기법은 어떻게 성능을 발휘하는가?
• RQ3 MC 샘플이 커버하지 못하는 단계공간 영역에서, CQM-NF는 이벤트 가중치에 의존하는 재가중치 기법보다 성능이 뛰어나게 되는가?
• RQ4 재가중치 기법 대비 CQM-NF는 재구성된 입자 질량과 같은 관측 불변량을 얼마나 잘 유지하는가?
• RQ5 대조 학습 기법은 복잡한 고차원 고에너지 물리학 데이터에서 변형 모델의 훈련 및 일반화 능력을 향상시킬 수 있는가?

주요 결과

• CQM-NF 기법은 특히 MC 커버리지가 낮은 영역에서 시뮬레이션된 이벤트 분포를 실제 데이터 분포에 더 잘 일치시키며 성공적으로 보정한다. 이는 재가중치 기법이 훈련 예제 부족으로 실패하는 영역에서 특히 두드러진다.
• MC 샘플에 상관관계가 누락된 5차원 토이 모델에서 CQM-NF는 데이터 분포를 정확히 복원하지만, 재가중치 기법은 커버되지 않은 영역에서 데이터를 재현하지 못한다.
• 공명 붕괴 토이 모델에서 재가중치 기법은 재구성된 관측 불변 질량 분포를 완벽하게 유지하지만, CQM-NF는 복잡한 운동량-$\delta\phi$ 관계를 완벽하게 학습하지 못해 질량 분포에 스메어링을 유도한다.
• 관측 불변 질량에 대한 스메어링이 있음에도 불구하고, CQM-NF는 MC 분포가 데이터와 겹치지 않는 영역에서 재가중치 기법보다 더 강력한 보정 성능을 보인다.
• 대조 학습 기법은 기존에 표준 변형 기법으로는 처리가 어려웠던 고차원 입자 수준 입력의 효과적인 보정을 가능하게 한다.
• 정규화 흐름이 복잡한 조건부 CDF를 효과적으로 모델링할 수 있음을 입증하며, 고에너지 물리학 응용 분야에서 정밀하고 미분 가능한 보정을 가능하게 한다.

Figure 2: Using CQM to morph between a pair of two-dimensional datasets (top row). The bottom row shows the transformed distribution after morphing the $x$ -axis (left) then the $y$ -axis (right).