[论文解读] Learning the language of QCD jets with transformers

Thorben Finke, M. Krämer+2 more|arXiv (Cornell University)|Mar 13, 2023

Computational Physics and Python Applications被引用 4

一句话总结

本文提出了一种基于Transformer的自回归密度估计框架，用于高能喷注物理，通过将喷注成分视为类似语言结构中的离散'词汇'。在QCD喷注和顶夸克喷注上进行训练后，该模型学习到复杂的高维概率分布，实现高保真度的数据生成，其生成结果在喷注可观测量上与真实数据高度一致，甚至难以被先进分类器区分。

ABSTRACT

Transformers have become the primary architecture for natural language processing. In this study, we explore their use for auto-regressive density estimation in high-energy jet physics, which involves working with a high-dimensional space. We draw an analogy between sentences and words in natural language and jets and their constituents in high-energy physics. Specifically, we investigate density estimation for light QCD jets and hadronically decaying boosted top jets. Since transformers allow easy sampling from learned densities, we exploit their generative capability to assess the quality of the density estimate. Our results indicate that the generated data samples closely resemble the original data, as evidenced by the excellent agreement of distributions such as particle multiplicity or jet mass. Furthermore, the generated samples are difficult to distinguish from the original data, even by a powerful supervised classifier. Given their exceptional data processing capabilities, transformers could potentially be trained directly on the massive LHC data sets to learn the probability densities in high-energy jet physics.

研究动机与目标

• 为解决喷注物理中高维密度估计的挑战，传统方法在高维空间中面临维度灾难和相关性丢失的问题。
• 探索变压器——在自然语言处理中取得成功——是否能将喷注成分视为离散标记，以学习复杂的自回归概率分布。
• 实现对具有可变成分数的喷注进行似然评估与高质量生成采样，避免归一化流等固定尺寸模型的局限性。
• 通过生成采样与基于分类器的评估，评估所学密度的质量，确保其真实性和统计保真度。
• 证明模型能够捕捉QCD和顶夸克喷注的关键物理特征，包括喷注质量、成分数和角分布。

提出的方法

• 将喷注成分的属性——横动量 $p_T$、$\Delta\eta$ 和 $\Delta\phi$——离散化为离散区间，形成粒子状态的'词汇表'。
• 按 $p_T$ 对喷注成分排序，引入基本语法规则，使联合密度可表示为一系列条件概率的乘积，实现自回归建模。
• 使用最大似然估计，训练标准的Transformer编码器，以预测序列中每个成分在先前所有成分条件下的概率。
• 采用top-k和全概率采样策略，从所学密度中生成合成喷注样本。
• 通过可观测量（如成分数、$p_T$、$\Delta\eta$ 和喷注质量）评估生成质量，比较真实数据与生成数据的分布差异。
• 训练ParticleNet分类器以区分真实与生成喷注，使用AUC分数作为分布保真度的代理指标。

实验结果

研究问题

• RQ1 变压器是否能通过将喷注成分视为序列中的离散'词汇'，有效学习QCD和顶夸克喷注的高维概率密度？
• RQ2 生成的喷注样本在成分数、$p_T$、$\Delta\eta$ 和喷注质量等关键物理可观测量上，与真实数据相比的还原程度如何？
• RQ3 监督分类器在多大程度上能区分真实与生成喷注，从而反映所学密度的真实性？
• RQ4 该模型在顶夸克喷注上是否具有良好泛化能力，因其内部结构比QCD喷注更复杂？
• RQ5 不同的采样策略（top-k与全分布）如何影响生成样本的真实感与物理一致性？

主要发现

• 生成的QCD喷注样本在成分数、横动量和角变量的分布上与真实数据高度一致，统计差异极小。
• 当使用ParticleNet分类器区分真实与top-k采样生成的QCD喷注时，AUC约为0.95，表明仅有约1%的生成样本可被轻易与真实数据分离。
• 从全概率分布中采样会导致高成分数和高喷注质量喷注的轻微过度采样，引入非物理尾部，使可区分样本比例上升至约5%。
• 对于顶夸克喷注，模型对一维分布（$\log(p_T)$、$\Delta\eta$、$m^{\text{jet}}$）的还原精度与QCD喷注相当，尽管由于高成分数事件训练不足，成分数分布的捕捉略显不足。
• 分类顶夸克喷注样本与真实数据的AUC约为0.7，表明其分离能力略好于QCD喷注，可能归因于顶夸克喷注结构更复杂且采样方差更高。
• 结果表明，需在更大规模数据集上进行更充分的训练，尤其是包含更多成分的样本，才能进一步提升顶夸克喷注的建模性能。