[논문 리뷰] PELICAN: Permutation Equivariant and Lorentz Invariant or Covariant Aggregator Network for Particle Physics

Alexander Bogatskiy, Timothy J. Hoffman외 2명|arXiv (Cornell University)|2022. 11. 01.

Computational Physics and Python Applications인용 수 10

한 줄 요약

PELICAN은 입자물리학을 위한 새로운 신경망 아키텍처로, 쌍방향 4모멘텀 내적을 입력으로 사용하여 순열 등변성과 로렌츠 불변/공변성을 강제한다. 기존 방법보다 훨씬 낮은 모델 복잡성으로 최상의 성능을 달성하며, 토프 쿼크 제트 태깅과 W 보손 4모멘텀 재구성에서 최고 성능을 기록한다.

ABSTRACT

Many current approaches to machine learning in particle physics use generic architectures that require large numbers of parameters and disregard underlying physics principles, limiting their applicability as scientific modeling tools. In this work, we present a machine learning architecture that uses a set of inputs maximally reduced with respect to the full 6-dimensional Lorentz symmetry, and is fully permutation-equivariant throughout. We study the application of this network architecture to the standard task of top quark tagging and show that the resulting network outperforms all existing competitors despite much lower model complexity. In addition, we present a Lorentz-covariant variant of the same network applied to a 4-momentum regression task.

연구 동기 및 목표

• 입자물리학의 기본 대칭성, 특히 로렌츠 불변성과 순열 등변성을 고려한 기계학습 아키텍처를 개발한다.
• 물리적 제약 조건을 직접 네트워크 아키텍처에 통합하여 모델 복잡성을 줄이고, 해석 가능성과 일반화 능력을 향상시킨다.
• 고파rameter 아키텍처에 의존하지 않고도 기존의 일반적인 딥러닝 모델보다 제트 태깅 및 4모멘텀 재구성 작업에서 뛰어난 성능을 내도록 한다.
• 검출기 효과가 존재하는 상황에서도 토프 쿼크 붕괴 제트에서 W 보손 4모멘텀을 정확하게 재구성할 수 있도록 한다.
• 대칭 인식 아키텍처가 표준 딥러닝 접근 방식보다 더 적은 파rameter로도 뛰어난 성능을 달성할 수 있음을 보여준다.

제안 방법

• 네트워크는 제트 구성 입자의 4모멘텀 벡터에서 유도된 모든 로렌츠 불변 쌍방향 내적 $p_i \cdot p_j$ 를 입력 특징으로 사용한다.
• Ref. [7, 19]의 일반적 프레임워크에 기반한 순열 등변성 레이어를 사용하여 입자 순서의 순열에 대한 등변성을 보장한다.
• 등변성을 유지하는 메시지 전달 유사 집계 방식을 사용하여 다중 레이어에 걸쳐 고차 상호작용을 모델링할 수 있다.
• 회귀 작업의 경우, 네트워크는 토프 쿼크 붕괴에서 W 보손의 전체 4모멘텀을 예측하며, $p_T$, 질량, 각도 해상도 기반의 손실 함수를 사용한다.
• 소수의 파rameter(회귀 작업 기준 36k)로 끝에서 끝까지 훈련하며, 대칭성을 활용하여 모델 용량을 줄인다.
• 진실 수준 및 DELPHES 시뮬레이션된 검출기 수준 데이터셋을 모두 활용하여 실험적 영향에 대한 내성과 견고성을 평가한다.

실험 결과

연구 질문

• RQ1 로렌츠 불변성과 순열 등변성을 강제하는 신경망 아키텍처가 모델 복잡성을 줄이며 최상의 제트 태깅 성능을 달성할 수 있는가?
• RQ2 대칭 인식 설계는 일반적인 딥러닝 모델에 비해 입자물리학 작업에서 일반화 능력과 견고성을 어떻게 향상시키는가?
• RQ3 이러한 대칭을 존중하는 아키텍처는 토프 쿼크 붕괴 제트에서 W 보손의 4모멘텀을 정확하게 재구성할 수 있는가?
• RQ4 불변 내적을 입력으로 사용함으로써 집계 단계에서 복잡하고 넓은 완전 연결 레이어가 더 이상 필요로 하는가?
• RQ5 PELICAN의 성능는 4모멘텀 재구성에서 기존의 비-ML 방법인 Johns Hopkins 태거와 비교해 어떻게 되는가?

주요 결과

• PELICAN은 단지 12k개의 파rameter로 최상의 제트 태깅 성능를 달성하며, 경쟁 모델보다 훨씬 적은 파rameter를 사용한다.
• 검출기 시뮬레이션 없이 4모멘텀 재구성에서 PELICAN은 $\sigma_{p_T} = 0.83\%$ 및 $\sigma_m = 1.21\%$를 기록했으며, 동일한 데이터에서 Johns Hopkins 태거($\sigma_{p_T} = 0.70\%$, $\sigma_m = 1.29\%$)보다 뛰어난 성능을 보였다.
• 완전 포함 제트의 부분집합에서, PELICAN은 완전 연결 기반 베이스라인 대비 $\sigma_{p_T} = 0.32\%$ 및 $\sigma_m = 0.76\%$를 달성했다.
• DELPHES 시뮬레이션된 검출기 효과가 있는 조건에서, PELICAN은 $p_T$ 해상도 오차를 10.8%(JH)에서 5.6%로 감소시키고, 질량 해상도를 8.3%에서 3.2%로 개선했다.
• 검출기 효과가 존재하는 상황에서도 네트워크는 높은 성능를 유지하며, 각도 해상도의 $\sigma_{\psi} = 4.2$ centirad를 기록했고, JH 기반 베이스라인 대비 8.9보다 낮았다.
• JH 태깅된 부분집합에서 PELICAN의 성능($\sigma_{p_T} = 0.28\%$)은 원래 태거보다 더 높은 정밀도로 모멘텀을 재구성할 수 있음을 보여주었다.