[논문 리뷰] Do graph neural networks learn traditional jet substructure?

Farouk Mokhtar, R. Kansal외 1명|arXiv (Cornell University)|2022. 11. 17.

Particle physics theoretical and experimental studies인용 수 5

한 줄 요약

이 논문은 고에너지 물리학에서 사용되는 전통적인 제트 하위구조 관측량, 예를 들어 토프 쿼크 제트 태깅에서의 프링 수와 같은 것을 Graph Neural Networks(GNNs), 특히 ParticleNet가 학습하는지 조사한다. Layerwise relevance propagation(LRP)를 사용하여 저자들은 훈련된 ParticleNet 모델이 특히 세 개의 프링을 가진 토프 쿼크 제트에서 서로 다른 하위제트를 연결하는 엣지를 우선시한다는 것을 보여주며, 이는 모델이 알려진 물리 기반 하위구조 특징을 암묵적으로 학습하고 활용한다는 것을 입증한다.

ABSTRACT

At the CERN LHC, the task of jet tagging, whose goal is to infer the origin of a jet given a set of final-state particles, is dominated by machine learning methods. Graph neural networks have been used to address this task by treating jets as point clouds with underlying, learnable, edge connections between the particles inside. We explore the decision-making process for one such state-of-the-art network, ParticleNet, by looking for relevant edge connections identified using the layerwise-relevance propagation technique. As the model is trained, we observe changes in the distribution of relevant edges connecting different intermediate clusters of particles, known as subjets. The resulting distribution of subjet connections is different for signal jets originating from top quarks, whose subjets typically correspond to its three decay products, and background jets originating from lighter quarks and gluons. This behavior indicates that the model is using traditional jet substructure observables, such as the number of prongs -- energetic particle clusters -- within a jet, when identifying jets.

연구 동기 및 목표

• 최신의 그래프 신경망, 예를 들어 ParticleNet가 고에너지 물리학에서 사용되는 전통적인 제트 하위구조 관측량을 학습하는지 조사하기.
• 학습된 그래프 엣지의 관련성 분석을 통해 ParticleNet의 토프 쿼크 제트 태깅에서의 의사결정 과정을 이해하기.
• 모델의 주의 집중이 제트의 프링 수와 같은 알려진 물리적 특징과 일치하는지 확인하기.
• 모델이 학습한 연결 패턴이 토프 쿼크 제트와 QCD 제트 간의 알려진 하위구조 차이를 반영하는지 평가하기.
• Layerwise relevance propagation(LRP)와 같은 설명 가능한 인공지능(XAI) 기법을 사용하여 입자물리학에서 GNN의 해석 가능성 평가하기.

제안 방법

• 14 TeV의 토프 쿼크 붕괴와 QCD 이제트에서 온 기준 데이터셋에 대해 ParticleNet 모델을 훈련시었으며, 각 제트의 주요 구성요소는 200개였다.
• 그래프의 엣지에 대한 관련도 점수를 할당하기 위해 layerwise relevance propagation(LRP)를 적용하여, 모델의 예측에 가장 영향을 주는 입자 간 연결을 특정하였다.
• 하위구조 의존성을 평가하기 위해 다양한 N 값에서 가장 관련도가 높은 N개의 엣지 중 하위제트 간 연결(즉, 하위제트 간 엣지)의 비율을 계산하였다.
• 제트 구성요소에서 하위제트를 정의하기 위해 R=0.8인 anti-kT 알고리즘을 사용하여 일관된 하위구조 식별이 가능하도록 하였다.
• 훈련 전과 훈련 후의 엣지 관련도 분포를 비교하여 훈련 과정에서의 연결 패턴 변화를 관찰하였다.
• 통계적 안정성을 확보하기 위해 10개의 무작위 초기화된 미훈련 모델과 하나의 완전히 훈련된 모델의 평균 결과를 사용하였다.

실험 결과

연구 질문

• RQ1 ParticleNet GNN은 QCD 제트와 비교하여 토프 쿼크 제트를 분류할 때 서로 다른 하위제트를 연결하는 엣지를 우선시하는가?
• RQ2 훈련 과정에서 관련 엣지의 분포는 어떻게 변화하며, 이는 알려진 하위구조 차이를 반영하는가?
• RQ3 모델에서 가장 관련도가 높은 엣지가 제트의 프링 수와 같은 물리적 관측량과 어느 정도 일치하는가?
• RQ4 모델의 주의 집중이 토프 쿼크 제트에서 세 개의 프링을 가진 하위구조가 존재할 때 하위제트 간 엣지와 관련이 있는가?
• RQ5 LRP 기반의 해석 가능성 기법을 통해 모델이 N-서브젯니스 또는 에너지 상관 함수와 같은 물리 기반 특징을 암묵적으로 학습하는지 확인할 수 있는가?

주요 결과

• 훈련된 ParticleNet 모델은 QCD 제트와 비교하여 토프 쿼크 제트를 분류할 때 서로 다른 하위제트를 연결하는 엣지에 더 높은 관련도를 할당하는 것을 학습한다.
• 모델의 훈련이 진행됨에 따라, 토프 쿼크 제트에서 가장 관련도가 높은 N개의 엣지 중 하위제트 간 연결 엣지의 비율이 크게 증가하며, 이는 하위구조 인식 연결 패턴의 학습을 시사한다.
• 토프 쿼크 제트의 관련 엣지 분포는 QCD 제트보다 연결된 입자들 간 평균 ΔR 분리도가 더 높게 나타나, 알려진 세 프링 하위구조와 일치한다.
• 미훈련 모델은 토프 쿼크 제트와 QCD 제트 모두에서 엣지 관련도를 유사하게 처리하지만, 훈련 후에야 이 차이가 나타난다.
• 모델이 학습한 엣지 관련도 패턴은 프링 수나 N-서브젯니스와 같은 전통적인 하위구조 관측량과 일관된다.
• 결과적으로 ParticleNet가 전통적인 제트 하위구조 분석의 핵심이 되는 물리 기반 특징을 암묵적으로 학습하고 활용한다는 것이 입증되었다.