[논문 리뷰] Variational Autoencoders for Jet Simulation

Kosei Dohi|arXiv (Cornell University)|2020. 09. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 65인용 수 5

한 줄 요약

이 논문은 고에너지 물리학에서 제트 이미지의 빠르고 정확한 시뮬레이션을 위한 새로운 변분 오토인코더(VAE) 아키텍처를 제안한다. 컨볼루션 레이어, 학습된 잠재 공간, 그리고 특징 인지 손실을 활용하여, 질량, pT, N-서브젯리니스와 같은 핵심 물리적 특성을 유지하면서도 실제 제트 이미지를 현실적으로 생성한다. 특히 GPU에서 기존 GAN 기반 기준 대비 최대 6배 빠른 추론 속도를 달성한다.

ABSTRACT

We introduce a novel variational autoencoder (VAE) architecture that can generate realistic and diverse high energy physics events. The model we propose utilizes several techniques from VAE literature in order to simulate high fidelity jet images. In addition to demonstrating the model's ability to produce high fidelity jet images through various assessments, we also demonstrate its ability to control the events it generates from the latent space. This can be potentially useful for other tasks such as jet tagging, where we can test how well jet taggers can classify signal from background for events generated by the VAE. We test this idea by seeing the signal efficiency vs background rejection for different types of jet images produced by our model. We compare our VAE with generative adversarial networks (GAN) in several ways, most notably in speed. The architecture we propose is ultimately a fast, stable, and easy-to-train deep generative model that demonstrates the potential of VAEs in simulating high energy physics events.

연구 동기 및 목표

• 기존 GAN 기반 접근 방식의 한계를 해결하고 고에너지 물리학에서 제트 이미지를 신속하고 신뢰성 있게 시뮬레이션할 수 있는 생성 모델을 개발하는 것.
• VAE가 질량, pT, N-서브젯지니스와 같은 물리적 관측량에 대해 높은 정밀도로 현실적인 제트 이미지를 생성할 수 있는지 탐구하는 것.
• 잠재 공간에서 분리 가능하고 해석 가능한 특징을 학습하여 제어 가능한 제트 생성 능력을 평가하는 것.
• CPU 및 GPU 환경에서 최신 GAN 기반 모델인 LAGAN과 비교해 VAE의 추론 속도를 평가하는 것.
• 특징 인지 손실이 제트 시뮬레이션에서 이미지 품질과 물리적 일관성을 향상시키는 데 얼마나 효과적인지 조사하는 것.

제안 방법

• 모델은 제트 이미지를 압축하고 재구성하기 위해 컨볼루션 인코더와 디코더 아키텍처를 사용하며, 평균 및 로그 분산 벡터로 파arameter화된 잠재 공간을 갖는다.
• 스토캐스틱 잠재 공간을 통해 역전파를 가능하게 하기 위해 재표본 추출(재표본 샘플링) 기법을 사용하여 엔드 투 엔드 학습이 가능하다.
• 손실 함수는 입력과 출력 이미지 간의 MSE 재구성 항과 잠재 분포를 단위 가우시안으로 정규화하기 위한 KL 발산 항을 조합한다.
• 표준 L2 손실 대신, 사전 훈련된 네트워크의 중간 특징 맵을 비교하여 이미지의 현실성 향상을 위한 특징 인지 손실을 도입한다.
• 데이터 증강 및 정규화를 적용하여 일반화 능력을 향상시키기 위해 Pythia로 생성된 제트 이미지 데이터셋을 사용해 모델을 훈련한다.
• 추론은 학습된 잠재 분포에서 샘플링하여 수행되며, 제어 가능한 특징을 가진 다양한 제트 이미지를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 VAE 아키텍처가 질량, 횡방향 운동량(pT), N-서브젯지니스와 같은 핵심 물리적 관측량을 고도로 유지하면서 제트 이미지를 생성할 수 있는가?
• RQ2 VAE의 잠재 공간이 W 보손과 QCD 제트 특성과 같은 물리적 특징을 얼마나 잘 분리하고 제어하는가?
• RQ3 특히 CPU 및 GPU 환경에서 LAGAN과 같은 GAN 기반 모델과 비교해 VAE의 추론 속도는 어떠한가?
• RQ4 특징 인지 손실을 사용할 경우, 표준 L2 손실 대비 생성된 제트 이미지의 현실성과 물리적 일관성이 향상되는가?
• RQ5 대부분의 GAN과 달리 적대적 훈련이 없이도 VAE는 안정적으로 훈련될 수 있으며, 이는 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• VAE는 질량, pT, N-서브젯지니스, 픽셀 강도 분포 측면에서 실제 Pythia로 생성된 제트 이미지와 매우 유사한 결과를 도출한다.
• 잠재 공간은 일관된 분리 가능성을 보이며, W 보손과 QCD 제트 특징이 모든 잠재 차원에서 유지되며, 그 차이가 그림 24에 명확하게 나타난다.
• GPU에서 VAE는 1초당 약 24,209개의 이벤트를 생성하는 데 성공했으며, 이는 LAGAN(1초당 4,102개 이벤트) 대비 약 6배 빠른 속도이다.
• 특징 인지 손실은 표준 L2 손실 대비 이미지 품질을 크게 향상시켜 더 선명하고 현실적인 제트 이미지를 생성한다.
• 적대적 훈련이 없기 때문에 GAN보다 훈련이 더 쉬우며, 더 부드러운 최적화와 안정적인 수렴을 가능하게 한다.
• VAE는 강력한 일반화 능력과 제어 가능성을 보이며, 잠재 공간의 보간을 통해 제트 유형 간에 타당한 전이를 생성한다.