[논문 리뷰] Explainable Equivariant Neural Networks for Particle Physics: PELICAN

Alexander Bogatskiy, Timothy J. Hoffman외 3명|arXiv (Cornell University)|2023. 07. 31.

Particle physics theoretical and experimental studies인용 수 5

한 줄 요약

PELICAN은 입자물리학에서의 대칭성에 기반한 순열에 대한 불변성과 로렌츠 불변성을 갖춘 신경망 아키텍처로, 경량화된 파rameter 수를 바탕으로 제트 하위구조 작업—탑 쿼크 태깅, 쿼크-글루온 구분, 4모멘텀 회귀—에서 최신 기술 수준의 성능을 달성하며, 물리학에 기반한 아키텍처 설계 덕분에 높은 해석 가능성도 제공한다.

ABSTRACT

PELICAN is a novel permutation equivariant and Lorentz invariant or covariant aggregator network designed to overcome common limitations found in architectures applied to particle physics problems. Compared to many approaches that use non-specialized architectures that neglect underlying physics principles and require very large numbers of parameters, PELICAN employs a fundamentally symmetry group-based architecture that demonstrates benefits in terms of reduced complexity, increased interpretability, and raw performance. We present a comprehensive study of the PELICAN algorithm architecture in the context of both tagging (classification) and reconstructing (regression) Lorentz-boosted top quarks, including the difficult task of specifically identifying and measuring the $W$-boson inside the dense environment of the Lorentz-boosted top-quark hadronic final state. We also extend the application of PELICAN to the tasks of identifying quark-initiated vs.~gluon-initiated jets, and a multi-class identification across five separate target categories of jets. When tested on the standard task of Lorentz-boosted top-quark tagging, PELICAN outperforms existing competitors with much lower model complexity and high sample efficiency. On the less common and more complex task of 4-momentum regression, PELICAN also outperforms hand-crafted, non-machine learning algorithms. We discuss the implications of symmetry-restricted architectures for the wider field of machine learning for physics.

연구 동기 및 목표

• 입자물리학 과정에 내재된 순열 및 로렌츠 대칭성을 명시적으로 고려하는 기계학습 아키텍처를 개발한다.
• 기본 물리 대칭성을 네트워크 아키텍처에 통합함으로써 제트 하위구조 작업에서 모델 복잡도를 감소시키고 해석 가능성을 향상시킨다.
• 이전에 기계학습 방법으로 다루지 못했던, 로렌츠-브로드닝된 탑 쿼크 붕괴에서 붕괴 생성물(예: W 보손)의 4모멘텀 고정밀도 회귀를 가능하게 한다.
• 특히 IRC 안정성 버전을 통해 최소한의 파rameter로 탑 태깅 및 쿼크-글루온 태깅에서 뛰어난 성능을 보이며, 기존 모델을 능가한다.
• 제트 하위구조를 넘어서 트랙 재구성 및 이벤트 수준 분석과 같은 다양한 입자물리학 응용 분야에 일반화된 설명 가능한 프레임워크를 제공한다.

제안 방법

• PELICAN은 입자 수준의 4모멘텀을 입력으로 받아 순열에 대한 불변성과 로렌츠 변환에 대한 공변성을 보장하는 순열 불변성 및 로렌츠 공변성 아키텍처를 사용한다.
• 표준 완전 연결 또는 어텐션 메커니즘을 대체하는 학습 가능한 대칭성 유지 아키텍처 레이어를 사용하여 파rameter 수를 감소시키고 해석 가능성을 향상시킨다.
• IRC 안정성을 확보하기 위해 아키텍처 내에서 로렌츠 불변성 있는 소프트 드롭 다중성 수를 가중치 요소로 사용하여, 복합 및 적외선 발산에 대한 강건성을 향상시킨다.
• 분류(태깅) 및 회귀(4모멘텀 재구성) 작업을 동시에 수행하기 위해 엔드 투 엔드로 훈련되며, 각 작업에 맞는 손실 함수를 적용한다.
• 학습된 가중치를 물리적 관측량으로 해석함으로써 모델 결정의 직접적인 입자 수준 분석이 가능하도록 해석 가능성을 강화한다.
• 다섯 가지 제트 유형에 대한 다중 클래스 제트 식별 작업으로 확장하여, 이진 분류를 넘어서는 일반화 능력을 입증한다.

Figure 1: The 15 binary arrays of rank $4$ that represent the basis elements of the permutation equivariant aggregators of PELICAN.

실험 결과

연구 질문

• RQ1 순열 및 로렌츠 대칭성을 명시적으로 코딩한 신경망 아키텍처가 기존의 일반 목적 모델보다 훨씬 적은 파rameter로 제트 하위구조 작업에서 뛰어난 성능을 낼 수 있는가?
• RQ2 대칭성 인식 설계를 통해 IRC 안정성을 강제로 구현할 경우, 복합 및 적외선 분열에 대한 강건성이 얼마나 향상되며, 성능 저하 없이 유지되는가?
• RQ3 PELICAN은 로렌츠-브로드닝된 탑 쿼크 제트 내부의 W 보손 4모멘텀을 재구성하는 도전적인 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 PELICAN의 학습된 가중치의 해석 가능성은 표준 딥러닝 모델과 비교해 어떻게 다른가? 그리고 이 가중치들이 직접적으로 물리적 관측량과 연결될 수 있는가?
• RQ5 대칭 제약 아키텍처는 쿼크-글루온 태깅 및 다중 클래스 제트 식별과 같은 다른 입자물리학 작업으로 일반화될 수 있는가?

주요 결과

• PELICAN은 기존 방법과 비교해 몇백 개의 파rameter로만 로렌츠-브로드닝된 탑 쿼크 태깅에서 최신 기술 수준의 성능을 달성하며, 모델 복잡도를 크게 감소시켰다.
• W 보손의 4모멘텀 회귀 작업에서, 횡방향 운동량 해상도는 6.8%, 질량 해상도는 8.5%, ΔR는 3.1 센티라디안으로, 비-IRC 안정성 기준 모델에 비해 10% 이내의 성능을 기록했다.
• IRC 안정성 버전의 PELICAN은 탑 태깅 및 쿼크-글루온 태깅에서 높은 성능 유지를 보였으며, 비-IRC 안정성 버전 대비 성능 저하가 미미하여 3~10% 수준이었다.
• 다섯 가지 카테고리의 다중 클래스 제트 식별 작업에서 PELICAN은 뛰어난 일반화 능력과 높은 성능을 보였으며, 이는 이진 분류를 넘어서는 유연성을 입증한다.
• 학습된 가중치가 직접적으로 물리적 관측량으로 해석 가능하여, 기계학습을 활용한 제트 하위구조의 입자 수준 분석을 이전에 없던 수준으로 가능하게 했다.
• IRC 분열 페르터베이션(예: 빔 입자를 두 개의 입자로 분열) 상황에서도 IRC 안정성 PELICAN 모델은 성능 저하가 10~25% 수준에 머물렀으며, 비-IRC 안정성 대비 유의미하게 뛰어난 성능을 보였다.

Figure 2: The PELICAN equivariant block updating square arrays.