[논문 리뷰] JetFlow: Generating Jets with Conditioned and Mass Constrained Normalising Flows

Benno Käch, D. Krücker외 4명|arXiv (Cornell University)|2022. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 18

한 줄 요약

이 논문은 복잡한 상관관계를 가진 고차원 제트 데이터를 생성하기 위해 제트 질량과 입자 수에 조건부로 설정된 정규화 흐름 모델인 JetFlow을 제안한다. 유리분수 평탄한 스플라인 커플링 레이어를 사용하여, 불변 질량에 조건부로 설정하고 흐름을 제약함으로써 JetNet 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 제트 질량 분포의 정확한 모델링과 안정적이고 빠른 훈련을 가능하게 한다.

ABSTRACT

Fast data generation based on Machine Learning has become a major research topic in particle physics. This is mainly because the Monte Carlo simulation approach is computationally challenging for future colliders, which will have a significantly higher luminosity. The generation of collider data is similar to point cloud generation with complex correlations between the points. In this study, the generation of jets with up to 30 constituents with Normalising Flows using Rational Quadratic Spline coupling layers is investigated. Without conditioning on the jet mass, our Normalising Flows are unable to model all correlations in data correctly, which is evident when comparing the invariant jet mass distributions between ground truth and generated data. Using the invariant mass as a condition for the coupling transformation enhances the performance on all tracked metrics. In addition, we demonstrate how to sample the original mass distribution by interpolating the empirical cumulative distribution function. Similarly, the variable number of constituents is taken care of by introducing an additional condition on the number of constituents in the jet. Furthermore, we study the usefulness of including an additional mass constraint in the loss term. On the exttt{JetNet} dataset, our model shows state-of-the-art performance combined with fast and stable training.

연구 동기 및 목표

• 미래의 고광도 충돌기에서 몬테카를로 시뮬레이션의 계산 부담을 줄이기 위해 기계학습을 활용해 빠르고 현실적인 제트 데이터를 생성한다.
• 표준 정규화 흐름이 제트 구성 요소 간의 복잡한 상관관계를 모델링하는 데 한계를 가진다는 문제를 해결한다.
• 불변 질량과 입자 수와 같은 글로벌 특징에 조건부로 설정하여 제트 생성을 향상시킨다.
• 실제 데이터와 일치하는 생성된 제트 질량 분포를 확보하기 위해 질량 제약 조건과 경험적 누적분포함수 보간을 통합한다.
• JetNet 데이터셋에서 안정적이고 빠른 훈련과 고정밀도 생성을 보여주며 최신 기술 수준의 성능을 달성한다.

제안 방법

• 최대 90차원(30개 입자 × 3개 특징)의 고차원 제트 데이터를 모델링하기 위해 유리분수 평탄한 스플라인 커플링 레이어를 사용한 정규화 흐름을 적용한다.
• 글로벌 상관관계 모델링을 향상시키기 위해 불변 제트 질량과 입자 수에 조건부로 설정된 흐름을 사용한다.
• 생성 과정에서 진짜 제트 질량 분포에서 샘플링하기 위해 경험적 누적분포함수(ECDF) 보간을 사용한다.
• 생성된 질량 분포가 참값과 더 잘 일치하도록 손실 함수에 질량 제약 조건을 적용한다.
• 역행성과 효율적인 행렬식 계산을 보장하기 위해 삼각형 자료구조를 가진 다수의 커플링 레이어를 연결한다.
• 안정적 수렴을 보장하기 위해 음의 로그우도 최소화를 통한 최대우도 추정을 사용해 훈련한다.

실험 결과

연구 질문

• RQ1 제트 질량과 입자 수에 조건부로 설정된 정규화 흐름이 표준 흐름보다 제트 구성 요소 간의 복잡한 상관관계를 더 효과적으로 모델링할 수 있는가?
• RQ2 불변 질량에 조건부로 설정함으로써 생성된 제트 질량 분포의 정밀도가 무조건적 흐름 대비 얼마나 향상되는가?
• RQ3 고정 크기의 서브셋으로 훈련된 모델이 일정 수의 구성 요소(예: 27~30개 입자)를 가진 제트에 얼마나 잘 일반화되는가?
• RQ4 손실 함수에 질량 제약 조건을 포함함으로써 생성된 질량 분포와 진짜 질량 분포 간의 일치도가 더 향상되는가?
• RQ5 과도하게 샘플링하는 경우, 즉 훈련 세트보다 훨씬 많은 이벤트를 생성할 때 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 기본 정규화 흐름(VNF)은 생성된 데이터와 참값 데이터 간의 불변 질량 분포에 심각한 격리가 있음을 보여주며, 상관관계를 정확히 모델링하지 못함을 입증한다.
• 제트 질량에 조건부로 설정된 흐름(CNF(m))은 성능을 크게 향상시켜 생성된 질량 분포를 진짜 분포와 매우 가까이 맞춘다.
• 완전히 조건부로 설정하고 제약 조건을 적용한 모델(CCNF(m,n))는 JetNet 데이터셋에서 평가된 6개의 모든 지표에서 최신 기술 수준의 성능을 달성한다.
• 모델은 입자 수가 변하는 제트(최소 27개 입자)를 성공적으로 생성했으며, 낮은 입자 수 영역에서의 희소한 훈련 데이터로 인한 미세한 편차 외에는 거의 차이가 없다.
• 100배 과도 샘플링을 해도 심각한 아티팩트가 발생하지 않아, 훈련 데이터 크기 이외의 영역으로도 안정적이고 잘 일반화됨을 보여준다.
• 상관관계 히트맵 분석 결과 생성된 데이터와 진짜 데이터 간에 유의미한 차이가 없음을 확인하여, 모델이 복잡한 특징 상관관계를 잘 유지하고 있음을 확인한다.