[논문 리뷰] Long Short-Term Memory (LSTM) networks with jet constituents for boosted top tagging at the LHC

Shannon Egan, Wojciech Fedorko외 3명|arXiv (Cornell University)|2017. 11. 24.

Particle physics theoretical and experimental studies참고 문헌 15인용 수 30

한 줄 요약

이 논문은 LHC에서 부스트된 톰 쿼크 태깅을 위해 장단기 기억(LSTM) 네트워크를 제트 구성요소 순서에 적용하여 기존의 완전히 연결된 DNN보다 배경 기각률 100에서 50% 신호 효율성에서 뛰어난 성능을 달성한다. 이 방법은 제트 하위구조를 기반으로 한 새로운 순서 정렬 방식을 활용하여 제트 하위구조의 순차적 모델링을 향상시켜 전통적인 접근 방식에 비해 심각하게 향상된 분류 성능을 제공한다.

ABSTRACT

Multivariate techniques based on engineered features have found wide adoption in the identification of jets resulting from hadronic top decays at the Large Hadron Collider (LHC). Recent Deep Learning developments in this area include the treatment of the calorimeter activation as an image or supplying a list of jet constituent momenta to a fully connected network. This latter approach lends itself well to the use of Recurrent Neural Networks. In this work the applicability of architectures incorporating Long Short-Term Memory (LSTM) networks is explored. Several network architectures, methods of ordering of jet constituents, and input pre-processing are studied. The best performing LSTM network achieves a background rejection of 100 for 50% signal efficiency. This represents more than a factor of two improvement over a fully connected Deep Neural Network (DNN) trained on similar types of inputs.

연구 동기 및 목표

• 기존의 다변량 기법을 초월하여 딥러닝을 활용해 부스트된 톰 쿼크 태깅 성능을 향상시키는 것.
• LSTM과 같은 순환 신경망이 완전히 연결된 네트워크보다 변수 길이의 제트 구성요소 순서를 더 잘 모델링할 수 있는지 조사하는 것.
• 모델 성능 향상을 위해 제트 클러스터링 이력 기반의 새로운 제트 구성요소 순서 정렬 기법을 개발하고 평가하는 것.
• 피킹업과 트리밍이 LSTM 기반 태깅 성능에 미치는 영향을 평가하는 것.
• 동일한 입력 조건에서 최신 기술의 DNN 태거와 비교하여 LSTM의 강인성과 분류 능력을 평가하는 것.

제안 방법

• 제트 구성요소(pT, η, φ)는 하위구조 기반 순서 정렬 알고리즘을 통해 순차적으로 LSTM 네트워크에 입력되며, 이 알고리즘은 제트 클러스터링 트리를 순회한다.
• LSTM은 구성요소의 순서를 처리하고 최종 은닉 상태만을 사용하여 64개 노드를 갖는 밀집층으로 분류에 입력한다.
• 새로운 구성요소 순서 정렬 방법이 도입되었으며, 이는 계층적 하위구조를 고려해 가장 에너지가 큰 하위제트를 순차적으로 선택함으로써 제트 구조 정보를 유지한다.
• 모델는 700만 개의 제트로 구성된 데이터셋(신호 및 배경이 동일한 비율)을 사용해 Adam 최적화 기법으로 훈련되었으며, pT는 600–2500 GeV, |η| ≤ 2.0의 범위를 가진다.
• 피킹업 조건 두 가지(LHC2016: 23, LHC2018: 50개 평균 상호작용)와 트리밍(R=0.2, 5% pT 임계값)을 평가하여 강인성에 영향을 분석한다.
• 성능 평가는 ROC 곡선과 고정된 신호 효율(20%, 50%, 80%)에서의 배경 기각률을 통해 평가된다.

실험 결과

연구 질문

• RQ1 동일한 제트 구성요소 운동량 목록으로 훈련된 LSTM 기반 모델이 완전히 연결된 DNN보다 성능이 뛰어나게 되는가?
• RQ2 제트 구성요소의 하위구조 인식 순서 정렬이 LSTM과 같은 순차적 모델의 톰 태깅 성능 향상에 기여하는가?
• RQ3 피킹업은 LSTM 기반 톰 태거의 성능에 어떤 영향을 미치며, 트리밍이 이 영향을 완화하는가?
• RQ4 입력 순서의 순차적 성격을 활용하여 정적 특징 공학을 초월해 분류 성능을 향상시킬 수 있는가?
• RQ5 입력 순서 선택(예: 하위제트 정렬 대비 하위구조 정렬)이 모델의 강인성과 기각 능력에 어떤 영향을 미치는가?

주요 결과

• 최고 성능을 보인 LSTM 네트워크는 50% 신호 효율에서 100의 배경 기각률을 달성하여 DNN 태거보다 2배 이상 뛰어난 성능을 보였다.
• 하위구조 기반 순서 정렬을 사용하고 트리밍을 적용하지 않은 LSTM은 LHC2016 피킹업 조건에서 20% 신호 효율에서 930의 배경 기각률을 기록했다.
• 하위제트 정렬을 사용하고 트리밍을 적용한 LSTM은 LHC2016 피킹업 조건에서 20% 신호 효율에서 780의 배경 기각률을 기록했으며, 동일 효율에서 DNN의 365를 뛰어넘었다.
• 하위구조 정렬을 사용할 경우 LSTM은 피킹업 조건에 더 민감하게 반응하여, 피킹업이 제트 클러스터링 순서를 변화시켜 순서 기반 모델에 영향을 줄 수 있음을 시사한다.
• 하위구조 기반 순서 정렬 방법은 하위제트 정렬보다 성능 향상이 뚜렷하며, 특히 고피킹업 환경에서 더욱 두드러진다. 이는 계층적 제트 구조가 활용 가능한 정보를 담고 있음을 시사한다.
• 하위구조 기반 순서 정렬을 사용하고 트리밍을 적용하지 않은 LSTM 모델은 LHC2016 피킹업 조건에서 50% 신호 효율에서 101의 배경 기각률을 기록했으며, DNN의 45를 크게 뛰어넘었다.