[论文解读] Meta-learning and data augmentation for mass-generalised jet taggers

Matthew J. Dolan, Ayodele Ore|arXiv (Cornell University)|Nov 11, 2021

Particle physics theoretical and experimental studies参考文献 2被引用 7

一句话总结

本文研究了高能物理中质量泛化的喷注打标任务的元学习与数据增强方法，表明仅使用基于缩放的数据增强即可在不同喷注质量下实现近乎最优的泛化性能，而元学习方法仅带来微小改进。研究结果表明，有效的泛化本质上可减少质量去相关性，从而提升共振搜索中对背景的鲁棒性。

ABSTRACT

Deep neural networks trained for jet tagging are typically specific to a narrow range of transverse momenta or jet masses. Given the large phase space that the LHC is able to probe, the potential benefit of classifiers that are effective over a wide range of masses or transverse momenta is significant. In this work we benchmark the performance of a number of methods for achieving accurate classification at masses distant from those used in training, with a focus on algorithms that leverage meta-learning. We study the discrimination of jets from boosted $Z'$ bosons against a QCD background. We find that a simple data augmentation strategy that standardises the angular scale of jets with different masses is sufficient to produce strong generalisation. The meta-learning algorithms provide only a small improvement in generalisation when combined with this augmentation. We also comment on the relationship between mass generalisation and mass decorrelation, demonstrating that those models which generalise better than the baseline also sculpt the background to a smaller degree.

研究动机与目标

• 为解决在高能物理中训练可在广泛喷注质量范围内泛化的喷注打标器的挑战，尤其是在高质质量区域训练数据有限的情况下。
• 评估元学习算法是否能在标准数据增强和正则化之外进一步提升泛化性能。
• 研究模型泛化与质量去相关性之间的关系，特别是减少背景雕刻效应的程度。
• 在质量泛化的喷注打标设置下，基准比较数据增强（缩放、平面化）、L1正则化以及元学习（MetaReg、Feature-Critic）的有效性。

提出的方法

• 本研究采用全连接前馈网络（PFN）作为喷注打标的基础模型，基于特定源质量下来自增强Z′衰变的模拟喷注进行训练。
• 通过缩放进行数据增强，以统一不同质量下喷注的角尺度，使模型对质量相关的几何失真保持不变。
• 使用平面化方法标准化不同质量下喷注的动量分布，减少输入特征中的尺度偏差。
• 应用元学习算法——MetaReg与Feature-Critic——在训练过程中优化对未见质量域的泛化能力。
• 使用L1权重衰减作为正则化器，以鼓励稀疏且可泛化的特征学习，而无需显式的质量感知预处理。
• 在一系列目标质量（150–600 GeV）下评估性能，泛化性能通过AUC以及预测结果与喷注质量的相关性（即质量去相关性）来衡量。

实验结果

研究问题

• RQ1 与标准数据增强和正则化相比，元学习算法是否能显著提升喷注打标器在相距较远的喷注质量之间的泛化性能？
• RQ2 仅使用基于缩放的数据增强是否已能实现近乎最优的泛化性能，从而使额外的元学习方法变得冗余？
• RQ3 有效的泛化在多大程度上可减少喷注打标模型中的质量去相关性和背景雕刻效应？
• RQ4 L1正则化与数据增强和元学习相比，在促进质量无关决策边界方面表现如何？
• RQ5 泛化性能与模型预测结果和喷注质量之间相关性降低之间是否存在直接关联？

主要发现

• 仅使用基于缩放的数据增强即可在喷注质量间实现近乎最优的泛化性能，优于基线模型，并有效减少质量去相关性。
• 当与缩放结合时，元学习算法（MetaReg与Feature-Critic）仅带来微小改进，表明在此设置下其附加价值有限。
• 在缺乏缩放的情况下，L1正则化在泛化性能和质量相关性降低方面优于基线模型，尽管其设计未显式考虑质量因素。
• 最具有泛化能力的模型——尤其是L1正则化的PFN和缩放模型——与喷注质量的相关性最低，表明背景去相关性效果良好。
• 质量平面化在远距离训练质量间的泛化中最为有效，但其优势在整体性能中被缩放所覆盖。
• 所有使用缩放的模型均表现出显著降低的质量依赖性，证实了预处理驱动的不变性是实现泛化的关键因素。