[论文解读] An Attention Based Neural Network for Jet Tagging

Jing Li, Hao Sun|arXiv (Cornell University)|Sep 1, 2020

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出一种基于注意力机制的神经网络（ABNN）用于喷注分类，通过使用平均信号喷注和背景喷注图像作为查询，生成注意力图，从而提升模型的可解释性。ABNN在分类准确率和背景抑制能力方面优于标准卷积神经网络（CNN），可视化结果表明，网络在信号喷注中聚焦于子喷注区域，而在QCD背景喷注中则避开这些区域，展示了通过注意力引导的特征提取在提升特征判别能力方面的优势。

ABSTRACT

Convolutional neural networks are basic structures using jet images as input for the jet tagging problems. However, what they have learned during the training process is always difficult to understand just through feature maps. Inspired by the attention mechanism popular in machine learning fields, we propose a novel attention-based neural network (ABNN) to get insight of this problem. The ABNN combines a jet image with average jet images from the signal and the background to generate attention maps which show clearly the relevant importance according to the different origination of jets. Compared with networks in the similar architecture, this network achieves better performance, which indicates the potential of attention mechanism to use in other works.

研究动机与目标

• 为解决用于喷注分类的卷积神经网络（CNN）缺乏可解释性的问题，即仅靠特征图无法揭示影响分类的图像区域。
• 通过集成注意力机制，突出显示喷注中的相关子结构特征，以提升喷注分类性能。
• 通过可视化从平均信号喷注和背景喷注图像中提取的注意力图，提供网络如何对喷注进行分类的洞察。
• 评估ABNN架构在使用不同数量的平均喷注图像进行注意力计算时的鲁棒性和性能表现。

提出的方法

• ABNN使用独立的堆叠CNN作为输入喷注图像以及信号和背景类别平均喷注图像的特征提取器。
• 通过计算输入喷注图像中间特征图与平均喷注图像特征图之间的兼容性得分，生成注意力图。
• 注意力机制使用平均信号喷注图像作为查询，引导网络聚焦于子喷注区域；同时，使用平均背景喷注图像作为查询，抑制子喷注区域的激活。
• 将输入喷注图像的特征图按注意力得分加权，使网络能够强调相关区域并弱化无关区域。
• 最终分类通过全连接层对加权后的特征进行处理，且对注意力图应用归一化以增强可解释性。
• 该架构与带和不带注意力的标准CNN进行对比基准测试，并通过使用不同数量的平均喷注图像进行消融实验。

实验结果

研究问题

• RQ1 注意力机制是否能通过突出显示喷注中相关的子结构特征，提升喷注分类模型的可解释性？
• RQ2 使用平均信号喷注和背景喷注图像作为查询，如何影响注意力图的生成以及分类性能？
• RQ3 当用于注意力计算的平均喷注图像数量变化时，注意力机制是否能增强模型的鲁棒性和泛化能力？
• RQ4 与无注意力机制的标准CNN相比，ABNN在性能上表现如何，特别是在背景抑制能力和准确率方面？

主要发现

• ABNN在分类准确率和背景抑制能力方面均优于标准CNN，证明了注意力机制在喷注分类中的有效性。
• 注意力图的可视化显示，当使用平均信号喷注图像作为查询时，网络聚焦于子喷注区域；而当使用平均背景喷注图像作为查询时，网络则避开这些区域。
• 注意力机制使网络能够区分信号喷注和背景喷注之间的细微差异，即使两者均包含子喷注，也能通过在信号中强调子喷注特征、在背景中抑制子喷注特征来实现。
• ABNN在使用不同数量的平均喷注图像计算注意力时，性能保持稳定，表明其对平均图像估计中统计波动具有鲁棒性。
• 相比之下，无注意力机制的标准CNN在平均图像数量增加时性能持续下降，凸显了注意力机制的稳定作用。