[논문 리뷰] Jet Diffusion versus JetGPT -- Modern Networks for the LHC

Anja Butter, Nathan Huetsch외 4명|arXiv (Cornell University)|2023. 05. 17.

Gaussian Processes and Bayesian Inference인용 수 18

한 줄 요약

이 논문은 LHC 물리 시뮬레이션을 위한 두 가지 확산 모델과 자동회귀 트랜스포머를 소개하고, 불확실성 제어를 위한 베이지안 변형을 제시하며, Z+제트 이벤트에서 정상화 흐름(normalizing flows)과의 비교를 수행한다.

ABSTRACT

We introduce two diffusion models and an autoregressive transformer for LHC physics simulations. Bayesian versions allow us to control the networks and capture training uncertainties. After illustrating their different density estimation methods for simple toy models, we discuss their advantages for Z plus jets event generation. While diffusion networks excel through their precision, the transformer scales best with the phase space dimensionality. Given the different training and evaluation speed, we expect LHC physics to benefit from dedicated use cases for normalizing flows, diffusion models, and autoregressive transformers.

연구 동기 및 목표

• 일차 원리에 기반한 빠르고 정밀하며 유연한 LHC 시뮬레이션을 촉진한다.
• 위상공간 밀도 추정용 세 가지 현대 생성 네트워크 아키텍처를 개발하고 평가한다.
• 학습 및 모델 불확실성을 정량화하기 위해 베이지안 형태를 도입한다.
• 벤치마크 확산 모델과 자동회귀 트랜스포머를 INN들에 대해 토이 문제 및 Z+제트 LHC 이벤트에서 비교한다.
• 정규화 흐름, 확산 모델, 그리고 자동회귀 트랜스포머가 뛰어난 시나리오를 강조한다.

제안 방법

• 두 가지 확산 모델(DDPM과 Conditional Flow Matching)을 이산적 및 연속 시간 진화를 포함하여 도입한다.
• 향상된 차원 확장성을 갖춘 자동회귀 트랜스포머(JetGPT)를 제안한다.
• 밀도 추정의 불확실성을 정량화하기 위해 세 네트워크의 베이지안 버전을 개발한다.
• DDPM(Eq. 17/11/13) 및 CFMs(Eq. 34/37)에 대한 손실 함수를 도출하고 학습/샘플링 절차를 개요한다.
• 토이 모델과 LHC Z+제트 이벤트에 대한 훈련 설정 및 하이퍼파라미터를 시연한다(Table 1).

Figure 8 : Ramp distribution from the DDPM. We show the learned density and its B-DDPM uncertainty (left) as well as the absolute and relative uncertainties with a range given by 10 independent trainings (right). We use $\delta=|\text{Model}-\text{Truth}|/\text{Truth}$ .

실험 결과

연구 질문

• RQ1 확산 기반 생성 모델이 LHC 위상공간 밀도 추정에서 가역 신경망(INN)의 정밀도에 비견할 수 있는가?
• RQ2 이산 DDPM, 연속 시간 CFMs, 자동회귀 트랜스포머는 위상공간 차원성에 따라 어떻게 확장되는가?
• RQ3 LHC 시뮬레이션에서 정규화 흐름, 확산 모델, 자동회귀 트랜스포머 간의 학습 및 샘플링 속도 트레이드오프는 무엇인가?
• RQ4 이 네트워크에서 베이지안 불확실성 정량화가 밀도 추정의 신뢰성에 어떤 영향을 미치는가?
• RQ5 Z+제트 생성과 같은 LHC 유사 작업에서 각 아키텍처에 대해 어떤 전용 사용 사례가 나타나는가?

주요 결과

• 확산 네트워크는 LHC 유사 위상공간에서 밀도 추정의 높은 정밀도를 제공한다.
• 자동회귀 트랜스포머는 더 높은 위상공간 차원성에서 더 우수하게 확장된다.
• 세 네트워크의 베이지안 버전은 학습된 밀도에 대한 불확실성 정량화를 제공한다.
• 확산 모델은 INN 및 VAE/GAN에 비해 샘플링 시간이 길지만 강력한 가능도 기반 학습을 제공한다.
• CFM은 샘플 생성을 위해 ODE를 풀어 일대일(bijective)-스타일 매핑을 제공한다.
• 논문은 이 세 모델을 토이 문제와 Z+제트 이벤트에서 벤치마크하여 강점과 사용 사례 적합성을 비교한다.

Figure 9 : Gaussian ring distribution from the DDPM. We show the learned density and its B-DDPM uncertainty (left) as well as the absolute and relative uncertainties with a range given by 10 independent trainings (right).