[논문 리뷰] Zero-Permutation Jet-Parton Assignment using a Self-Attention Network

J. S. H. Lee, Inkyu Park외 2명|arXiv (Cornell University)|2020. 12. 07.

Particle physics theoretical and experimental studies참고 문헌 38인용 수 5

한 줄 요약

이 논문은 고에너지 물리학에서 고다수의 입자들을 포함한 제트-파트온 할당 문제를 해결하기 위해 제안된 SaJa를 소개한다. SaJa는 조합 최적화 없이도 제트-파트온 할당을 직접 예측하는 자기주의 신경망이다. SaJa는 기존의 우도 기반 방법인 KLFitter를 능가하며, 이벤트를 배치로 처리함으로써 최대 100배 빠른 추론 속도를 보이며, 완전히 하드론적인 토프-항토프 제트 이벤트에서 뛰어난 정확도와 효율성을 입증한다.

ABSTRACT

In high-energy particle physics events, it can be advantageous to find the jets associated with the decays of intermediate states, for example, the three jets produced by the hadronic decay of the top quark. Typically, a goodness-of-association measure, such as a $χ^2$ related to the mass of the associated jets, is constructed, and the best jet combination is found by optimizing this measure. As this process suffers from a combinatorial explosion with the number of jets, the number of permutations is limited by using only the $n$ highest $p_T$ jets. The self-attention block is a neural network unit used for the neural machine translation problem, which can highlight relationships between any number of inputs in a single iteration without permutations. In this paper, we introduce the Self-Attention for Jet Assignment (SaJa) network. SaJa can take any number of jets for input and outputs probabilities of jet-parton assignment for all jets in a single step. We apply SaJa to find jet-parton assignments of fully-hadronic $t\bar{t}$ events to evaluate the performance. We show that SaJa achieves better performance than a likelihood-based approach.

연구 동기 및 목표

• 완전히 하드론적인 t\bar{t} 붕괴와 같은 고다수 입자 이벤트에서 발생하는 조합 폭발 문제를 해결하기 위해.
• 제트의 순열을 전수 조사하지 않고도 순열 불변성을 확보하는 방법을 개발하기 위해.
• 기존의 우도 기반 접근 방식인 KLFitter를 뛰어넘는 제트-파트온 할당 정확도를 향상시키기 위해.
• GPU 하드웨어에서의 배치 처리를 통해 효율적이고 확장 가능한 추론을 가능하게 하기 위해.
• 물리적 통찰을 얻기 위해 주의 가중치 시각화를 통한 모델의 해석 가능성 제공하기 위해.

제안 방법

• SaJa 네트워크는 단일 순방향 전파 동안 제트 간의 종속성을 자기주의 메커니즘을 통해 모델링하여 순열 열거가 필요 없도록 한다.
• 제트-파트온 할당 문제를 5개 클래스인 b1, W1, b2, W2, 기타 제트로 구성된 제트 기반 다중 분류 문제로 재정의한다.
• 학습 가능한 위치 인코딩과 다중 헤드 자기주의 블록을 사용하여 내부 토프와 상호 토프 제트 간의 상관관계를 포착한다.
• 목표 함수는 일직선으로 인코딩된 진짜 레이블에 대한 교차 엔트로피 손실을 사용하며, 대칭적 주의 계산을 통해 순열 불변성이 보장된다.
• 모델은 반-카이티 알고리즘으로 재구성된 제트를 사용한 몬테카를로 시뮬레이션으로 생성된 t\bar{t} 이벤트 데이터로 훈련되며, 성능 향상을 위해 제트 형태 특징이 포함된다.
• 추론은 미니배치로 수행되어 GPU 하드웨어에서 높은 처리량을 달성하며, 다양한 배치 크기에서 이벤트당 지연 시간이 측정된다.

실험 결과

연구 질문

• RQ1 자기주의 신경망이 기존의 우도 기반 방법인 KLFitter보다 더 나은 제트-파트온 할당 성능을 달성할 수 있는가?
• RQ2 SaJa 네트워크는 다양한 이벤트 생성기와 다른 파arton 샤워 모델을 가진 상황에서도 높은 성능을 유지하는가?
• RQ3 제트 형태 정보의 포함이 할당 정확도와 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 SaJa의 추론 지연 시간은 KLFitter와 같은 순차적 우도 피팅 방법과 비교해 어떻게 되는가?
• RQ5 SaJa의 주의 가중치는 제트-파트온 구조와 관계에 대한 이해 가능한 통찰을 제공할 수 있는가?

주요 결과

• SaJa는 특히 최대 12개의 제트를 포함하는 복잡한 완전히 하드론적인 t\bar{t} 이벤트에서 KLFitter를 능가하는 더 높은 제트-파트온 할당 정확도를 달성한다.
• 제트 형태 정보의 포함은 성능 향상을 가져오지만, 파arton 샤워 모델의 차이로 인해 이벤트 생성기 간에 결과에 약간의 차이가 있다.
• 제트 형태 정보를 포함한 SaJa의 경우, 형태 특징이 없는 기준 모델 대비 정확한 할당 비율이 1.5% 향상된다.
• 배치 크기가 1인 경우에도 SaJa의 추론 시간은 KLFitter의 순차 처리보다 빠르며, GPU에서 배치 크기가 1000일 경우 100배의 속도 향상이 이루어진다.
• 주의 가중치 시각화 결과, 초기 블록은 내부 토프 쿼크 제트 간의 상관관계를 학습하는 반면, 후속 블록은 할당에 관련된 특징을 추출하는 것으로 확인되어 모델의 해석 가능성은 입증된다.
• 제트 형태 특징을 제외한 경우, 이벤트 생성기의 차이에 대해 모델이 강인하게 작동함을 확인하여 시뮬레이션 모델 간의 일반화 능력이 뛰어나다는 것을 시사한다.