[论文解读] Does Lorentz-symmetric design boost network performance in jet physics?

C. Li, H. Qu+6 more|arXiv (Cornell University)|Aug 16, 2022

Topological and Geometric Data Analysis被引用 5

一句话总结

本文研究了洛伦兹对称设计是否能提升喷注物理中深度学习的性能。通过引入两种广义的、对称性保持的网络模块——特别是'成对质量'特征——作者在多个架构（PFN、ParticleNet、LorentzNet）中均展示了性能的持续提升，证明洛伦兹不变性是一种强大的归纳偏置，可显著提高喷注分类的准确率。

ABSTRACT

In the deep learning era, improving the neural network performance in jet physics is a rewarding task as it directly contributes to more accurate physics measurements at the LHC. Recent research has proposed various network designs in consideration of the full Lorentz symmetry, but its benefit is still not systematically asserted, given that there remain many successful networks without taking it into account. We conduct a detailed study on the Lorentz-symmetric design. We propose two generalized approaches for modifying a network - these methods are experimented on Particle Flow Network, ParticleNet, and LorentzNet, and exhibit a general performance gain. We also reveal that the notable improvement attributed to the "pairwise mass" feature in the network is due to its introduction of a structure that fully complies with Lorentz symmetry. We confirm that Lorentz-symmetry preservation serves as a strong inductive bias of jet physics, hence calling for attention to such general recipes in future network designs.

研究动机与目标

• 系统评估在喷注分类任务中，洛伦兹对称网络设计是否能提升性能。
• 识别并分离洛伦兹不变性作为喷注物理深度学习模型中归纳偏置的贡献。
• 开发可广泛适用的、对称性保持的架构组件，适用于多种网络架构。
• 阐明先前高性能模型中'成对质量'特征的作用，并将其与完整的洛伦兹对称性联系起来。
• 倡导在未来喷注物理神经网络中将洛伦兹对称性作为标准设计原则。

提出的方法

• 提出两种广义的、模块化的网络模块，可在节点或边级别强制实现洛伦兹不变性。
• 将这些模块应用于三种不同架构：PFN、ParticleNet 和 LorentzNet，实现可控的消融研究。
• 将'成对质量'特征用作完整洛伦兹对称性的代理，分析其对性能和不变性的影响。
• 在标准喷注分类基准上训练并评估模型，比较对称与非对称变体的性能。
• 采用消融分析隔离洛伦兹不变性与其他架构组件的独立贡献。
• 验证成对质量特征带来的性能提升直接源于其洛伦兹不变结构。

实验结果

研究问题

• RQ1 在神经网络设计中引入完整的洛伦兹对称性是否能在喷注分类中带来可测量的性能提升？
• RQ2 成对质量特征对网络性能的具体贡献是什么？其是否与洛伦兹不变性相关？
• RQ3 洛伦兹对称设计能否在不进行架构全面重构的前提下推广至不同网络架构？
• RQ4 与其它设计选择相比，洛伦兹不变性在喷注物理中在多大程度上构成强归纳偏置？
• RQ5 保持对称性的网络性能与 ParticleNet 和 ParT 等最先进模型相比如何？

主要发现

• 所提出的洛伦兹对称网络模块在 PFN、ParticleNet 和 LorentzNet 中均持续提升性能，证明了其通用性。
• 成对质量特征（此前已证明可提升性能）被揭示为网络子结构中完整洛伦兹不变性的直接体现。
• 消融研究证实，成对质量特征带来的性能提升源于其洛伦兹不变结构，而非单纯的特征工程。
• 洛伦兹不变性作为一种强归纳偏置，显著增强了喷注分类任务中的泛化能力和鲁棒性。
• 研究证实，LorentzNet 和 ParT 等网络之所以性能优异，部分原因在于其内在的洛伦兹不变性，尤其是通过成对质量机制。
• 研究结果主张在未来的网络设计中系统性地纳入洛伦兹对称性，特别是在使用点云粒子输入的模型中。