[논문 리뷰] Learning the language of QCD jets with transformers

Thorben Finke, M. Krämer외 2명|arXiv (Cornell University)|2023. 03. 13.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 고에너지 제트 물리학을 위한 트랜스포머 기반의 자동회귀 밀도 추정 프레임워크를 제안한다. 제트 구성 입자를 언어 유사 구조 내의 이산적 '단어'로 모델링함으로써, QCD 및 토프 제트에서 학습함으로써 고차원적이고 복잡한 확률 분포를 학습한다. 이는 실제 제트 관측량과 거의 일치하는 고해상도 데이터 생성을 가능하게 하며, 고급 분류기로도 실제 데이터와 구분되지 않을 정도로 정교한 성능을 발휘한다.

ABSTRACT

Transformers have become the primary architecture for natural language processing. In this study, we explore their use for auto-regressive density estimation in high-energy jet physics, which involves working with a high-dimensional space. We draw an analogy between sentences and words in natural language and jets and their constituents in high-energy physics. Specifically, we investigate density estimation for light QCD jets and hadronically decaying boosted top jets. Since transformers allow easy sampling from learned densities, we exploit their generative capability to assess the quality of the density estimate. Our results indicate that the generated data samples closely resemble the original data, as evidenced by the excellent agreement of distributions such as particle multiplicity or jet mass. Furthermore, the generated samples are difficult to distinguish from the original data, even by a powerful supervised classifier. Given their exceptional data processing capabilities, transformers could potentially be trained directly on the massive LHC data sets to learn the probability densities in high-energy jet physics.

연구 동기 및 목표

• 기하학적 차원의 증가로 인해 전통적 방법이 차원의 저주와 상관관계 손실 문제를 겪는 제트 물리학의 고차원 밀도 추정 문제를 해결하기 위해.
• 자연어처리에서 성공한 트랜스포머가 제트 구성 입자를 이산 토큰으로 간주하여 복잡한 자동회귀 확률 분포를 학습할 수 있는지 탐색하기 위해.
• 고정 크기 모델(예: 정규화 흐름)의 한계를 피하기 위해 다변동량 제트의 가능도 평가 및 고품질 생성 샘플링을 가능하게 하기 위해.
• 생성 샘플링과 분류기 기반 평가를 통해 학습된 밀도의 품질을 평가하여 현실성과 통계적 정밀도를 확보하기 위해.
• 학습된 모델이 QCD 및 토프 제트의 주요 물리적 특징, 즉 제트 질량, 다중성, 각도 분포 등을 잘 반영하고 있는지 확인하기 위해.

제안 방법

• 제트 구성 입자의 특성인 횡방향 운동량 $p_T$, $\Delta\eta$, $\Delta\phi$를 이산적인 박스로 나누어 입자 상태의 '어휘'를 구성하기 위해.
• 제트 구성 입자를 $p_T$ 기준으로 정렬하여 기본 문법을 도입함으로써, 조건부 확률의 곱으로서의 공동 밀도를 자동회귀적으로 모델링할 수 있도록 하기 위해.
• 모든 이전 요소들을 고려해 각 구성 입자의 확률을 예측하기 위해 표준 트랜스포머 인코더를 학습하고, 최대가능도 추정을 사용하기 위해.
• 실제 제트 샘플을 학습된 밀도에서 생성하기 위해 top-k 및 전체 확률 샘플링 전략을 사용하기 위해.
• 실제 데이터와 생성된 데이터 간의 분포를 비교하기 위해 다중성, $p_T$, $\Delta\eta$, 제트 질량 등의 관측량을 사용해 생성 품질을 평가하기 위해.
• 실제 제트와 생성된 제트를 구분하기 위해 ParticleNet 분류기를 훈련하고, 분포의 정밀도를 측정하기 위해 AUC 점수를 사용하기 위해.

실험 결과

연구 질문

• RQ1 트랜스포머가 제트 구성 입자를 순서화된 '단어'로 간주함으로써 QCD 및 토프 제트의 고차원적 확률 밀도를 효과적으로 학습할 수 있는가?
• RQ2 생성된 제트 샘플이 실제 데이터와 비교해 다중성, $p_T$, $\Delta\eta$, 제트 질량 등의 주요 물리 관측량을 얼마나 잘 재현하는가?
• RQ3 감독 기반 분류기가 실제 제트와 생성된 제트를 얼마나 잘 구분할 수 있는가? 이는 학습된 밀도의 현실성에 대한 지표가 된다.
• RQ4 더 복잡한 내부 구조를 지닌 토프 제트에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 다른 샘플링 전략(예: top-k 대비 전체 분포)은 생성 샘플의 현실성과 물리적 일관성에 어떤 영향을 미치는가?

주요 결과

• 생성된 QCD 제트 샘플은 입자 다중성, 횡방향 운동량, 각도 변수의 분포에서 실제 데이터와 뛰어난 일치를 보이며 통계적 차이가 거의 없었다.
• ParticleNet 분류기는 생성된 QCD 제트 샘플 중 top-k로 추출한 경우 실제 제트와 구분할 때 AUC 약 0.95를 기록하여, 생성된 샘플 중 약 1%만이 쉽게 실제 데이터와 분리될 수 있음을 시사했다.
• 전체 확률 분포에서 샘플링할 경우 고다중성 및 고질량 제트가 약간 과도하게 추출되어 물리적으로 비합리적인 尾(꼬리)가 발생하고, 분리 가능한 샘플 비율이 약 5%로 증가했다.
• 토프 제트의 경우, $\log(p_T)$, $\Delta\eta$, $m^{\text{jet}}$와 같은 일변량 분포는 QCD 제트와 유사한 정밀도로 재현되었지만, 고다중성 이벤트에 대한 훈련이 제한되어 있어 다중성은 다소 정확도가 떨어졌다.
• 실제 토프 제트 샘플과 생성된 제트 샘플을 분류하는 데서 AUC는 약 0.7을 기록하여 QCD 제트의 경우보다 略적으로 더 잘 분리되었는데, 이는 토프 제트의 더 복잡한 내부 구조와 샘플링의 높은 변동성 때문일 것이다.
• 결과적으로, 더 큰 데이터셋과 더 많은 구성 입자를 포함한 훨씬 광범위한 훈련이 토프 제트의 모델링 향상을 위해 필요하다는 것이 제안된다.