[论文解读] Long Short-Term Memory (LSTM) networks with jet constituents for boosted top tagging at the LHC

Shannon Egan, Wojciech Fedorko+3 more|arXiv (Cornell University)|Nov 24, 2017

Particle physics theoretical and experimental studies参考文献 15被引用 30

一句话总结

本文提出使用长短期记忆（LSTM）网络结合喷射子构成序列，用于大型强子对撞机（LHC）上的增强型顶夸克探测，其背景抑制能力在50%信号效率下达到100，优于全连接深度神经网络（DNN），实现超过两倍的性能提升。该方法通过一种新颖的基于喷射子子结构的喷射子排序方式，增强了对喷射子子结构的序列建模能力，显著提升了传统方法的区分能力。

ABSTRACT

Multivariate techniques based on engineered features have found wide adoption in the identification of jets resulting from hadronic top decays at the Large Hadron Collider (LHC). Recent Deep Learning developments in this area include the treatment of the calorimeter activation as an image or supplying a list of jet constituent momenta to a fully connected network. This latter approach lends itself well to the use of Recurrent Neural Networks. In this work the applicability of architectures incorporating Long Short-Term Memory (LSTM) networks is explored. Several network architectures, methods of ordering of jet constituents, and input pre-processing are studied. The best performing LSTM network achieves a background rejection of 100 for 50% signal efficiency. This represents more than a factor of two improvement over a fully connected Deep Neural Network (DNN) trained on similar types of inputs.

研究动机与目标

• 通过深度学习技术超越传统多变量分析方法，提升增强型顶夸克探测的性能。
• 探究循环神经网络（如LSTM）是否能比全连接网络更好地建模长度可变的喷射子构成序列。
• 开发并评估一种基于喷射子聚类历史的新型喷射子构成排序方案，以提升模型性能。
• 评估堆积效应和修剪处理对基于LSTM的探测性能的影响。
• 在相同输入条件下，比较LSTM与最先进DNN探测器的鲁棒性与区分能力。

提出的方法

• 将喷射子构成（pT, η, φ）按递归基于子结构的排序算法生成的顺序输入LSTM网络，该算法遍历喷射子聚类树。
• LSTM处理构成序列，并仅使用最终隐藏状态输入一个64个神经元的全连接层进行分类。
• 提出一种新型构成排序方法，通过递归选择最能量高的子喷射子，优先保留喷射子拓扑信息。
• 使用Adam优化器在包含700万个喷射子（信号与背景数量相等）的数据集上进行模型训练，喷射子pT范围为600–2500 GeV，|η| ≤ 2.0。
• 评估两种堆积场景（LHC2016：23个交互，LHC2018：平均50个交互）以及修剪处理（R=0.2，5% pT阈值），以研究模型鲁棒性。
• 通过ROC曲线和固定信号效率下（20%、50%、80%）的背景抑制能力评估性能。

实验结果

研究问题

• RQ1 当LSTM模型与全连接DNN均基于相同的喷射子构成动量列表进行训练时，LSTM模型是否能表现更优？
• RQ2 对喷射子构成进行基于子结构的排序，是否能提升LSTM等序列模型在顶夸克探测中的性能？
• RQ3 堆积效应如何影响基于LSTM的顶夸克探测器性能？修剪处理是否能缓解该影响？
• RQ4 输入序列的序列特性是否可被利用，以超越静态特征工程实现更优的区分能力？
• RQ5 输入排序方式的选择（如子喷射子排序 vs. 子结构排序）如何影响模型的鲁棒性与抑制能力？

主要发现

• 性能最佳的LSTM网络在50%信号效率下实现100倍背景抑制，相比DNN探测器性能提升超过两倍。
• 在LHC2016堆积条件下，采用子结构排序且未进行修剪的LSTM模型，在20%信号效率下实现930倍背景抑制。
• 在LHC2016堆积条件下，采用子喷射子排序并进行修剪的LSTM模型，在20%信号效率下实现780倍背景抑制，优于DNN的365倍抑制能力。
• 当使用子结构排序时，LSTM对堆积条件表现出更高的敏感性，表明堆积效应会改变喷射子聚类顺序，从而影响基于序列的模型。
• 与子喷射子排序相比，基于子结构的排序方法显著提升了模型性能，尤其在高堆积环境中，表明分层喷射子结构中蕴含可利用的信息。
• 在LHC2016堆积条件下，采用子结构排序且未修剪的LSTM模型在50%信号效率下实现101倍背景抑制，显著优于DNN的45倍。