[논문 리뷰] End-To-End Latent Variational Diffusion Models for Inverse Problems in High Energy Physics

Alexander Shmakov, Kevin Thomas Greif외 4명|arXiv (Cornell University)|2023. 05. 17.

Generative Adversarial Networks and Image Synthesis인용 수 23

한 줄 요약

고차원 LHC 검출기 데이터를 진실 수준 파트론 분포로 엔드-투-엔드로 풀기 위해 Variational Latent Diffusion(VLD)를 도입하고, 분포 수준의 충실도에서 베이스라인보다 향상됨을 보인다.

ABSTRACT

High-energy collisions at the Large Hadron Collider (LHC) provide valuable insights into open questions in particle physics. However, detector effects must be corrected before measurements can be compared to certain theoretical predictions or measurements from other detectors. Methods to solve this extit{inverse problem} of mapping detector observations to theoretical quantities of the underlying collision are essential parts of many physics analyses at the LHC. We investigate and compare various generative deep learning methods to approximate this inverse mapping. We introduce a novel unified architecture, termed latent variation diffusion models, which combines the latent learning of cutting-edge generative art approaches with an end-to-end variational framework. We demonstrate the effectiveness of this approach for reconstructing global distributions of theoretical kinematic quantities, as well as for ensuring the adherence of the learned posterior distributions to known physics constraints. Our unified approach achieves a distribution-free distance to the truth of over 20 times less than non-latent state-of-the-art baseline and 3 times less than traditional latent diffusion models.

연구 동기 및 목표

• 고에너지 물리학에서의 언폴링(역문제)와 검출기 수준에서 진실 수준 데이터로의 비-빈도 매핑의 필요성에 대한 동기 부여.
• 잠재 확산과 변분 오토인코더 및 물리 정보 제약을 결합한 통합된 엔드-투-엔드 Variational Latent Diffusion(VLD) 프레임워크를 제안.
• 베이스라인에 비해 semi-leptonic t tbar 이벤트에 대해 전반적 분포 충실도 및 물리적으로 일관된 포스터리어의 향상을 시연.

제안 방법

• 조건 인코더, 조건부 또는 비조건부 VAE, 및 확산 과정을 단일 목적 함수로 통합하는 Variational Latent Diffusion(VLD)을 도입.
• 학습 가능한 노이즈 스케줄과 원 데이터를 예측하는 디노이징 네트워크를 갖춘 연속시간, 분산 보존 확산을 채택.
• 질량, 에너지, 모멘텀 간의 관계 M^2 = E^2 - ||p||^2 를 강제하기 위한 물리 정보 기반 일관성 손실을 통합.
• 엔드-투-엔드 학습 변형: VLD, UC-VLD(비조건 디코더), 및 C-VLD(조건 인코더/디코더).
• 잼-변환기 인코더와 잠재 파트론 인코더/디코더를 통한 검출기 관측치에 대한 잠재 공간 조건화를 수행.
• Semi-leptonic t tbar 데이터에 대해 워서스타인(Wasserstein), 에너지(Energy), KS, KL(64/128/256 빈) 등 여러 거리 척도로 평가.

실험 결과

연구 질문

• RQ1 고차원 검출기 데이터를 진실 수준 파트론 분포로 언폴링하는 데 엔드-투-엔드 변분 잠재 확산이 향상될 수 있는가?
• RQ2 조건 인코더, VAE, 확산의 공동 학습이 분포 수준의 충실도와 물리적 일관성 측면에서 분리된 구성요소보다 더 나은가?
• RQ3 조건화 전략(비조건 디코더 대 조건 디코더)이 재구성 품질과 포스터리어 현실성에 미치는 영향은 무엇인가?
• RQ4 물리 정보 기반 제약이 질량-에너지-모멘텀의 재구성 안정성과 일관성에 어떤 영향을 미치는가?
• RQ5 제안된 모델들이 Semi-leptonic t tbar 토폴로지 너머의 고차원 역문제에 얼마나 확장 가능하는가?

주요 결과

• VLD 모델들이 거리 척도에서 최상의 성능을 달성했고, UC-VLD와 VLD가 베이스라인을 능가했다.
• 조건부 디코더 변형(C-VLD, CVAE)은 이 설정에서 재구성을 악화시키는 경향이 있어, 추론 데이터에 대해 비조건 디코더가 더 견고하다는 것을 시사했다.
• 잠재 확산 모델(VLD/UC-VLD)은 직접 잠재 접근(CINN, VDM)보다 우수했고, 엔드-투-엔드 학습은 사전 학습된 LDM보다 향상되었다.
• VLD의 포스터리어 샘플은 브루트 포스 포스트리어보다 매끄럽고 실제 파트론 구성에 더 근접하며, 이중 모드의 중성미자 η 분포 같은 특징을 포착한다.
• 물리 정보 기반 일관성 손실은 예측의 안정성을 높이고 질량-에너지-모멘텀 관계의 정합성을 향상시켰다.
• 55개 구성요소에 걸쳐 전체 거리 지표가 VLD/UC-VLD가 베이스라인보다 더 낮은 거리를 보여, 전반적 분포 충실도가 우수함을 나타냈다.