[论文解读] Symmetries, Safety, and Self-Supervision

Barry M. Dillon, G. Kasieczka+4 more|arXiv (Cornell University)|Aug 9, 2021

Medical Imaging Techniques and Applications参考文献 52被引用 16

一句话总结

该论文提出JetCLR，一种自监督对比学习框架，通过排列等变的Transformer编码器将喷注成分映射到对称性不变的表征空间。该方法在顶夸克喷注识别任务中达到最先进性能，在线性分类器测试中优于传统可观测量（如能量流多项式，EFPs），在JetCLR表征下的AUC为0.980，而EFPs（d ≤ 7）的AUC为0.972。

ABSTRACT

Collider searches face the challenge of defining a representation of high-dimensional data such that physical symmetries are manifest, the discriminating features are retained, and the choice of representation is new-physics agnostic. We introduce JetCLR to solve the mapping from low-level data to optimized observables though self-supervised contrastive learning. As an example, we construct a data representation for top and QCD jets using a permutation-invariant transformer-encoder network and visualize its symmetry properties. We compare the JetCLR representation with alternative representations using linear classifier tests and find it to work quite well.

研究动机与目标

• 开发一种新的喷注数据表征方法，对洛伦兹不变性、排列对称性以及软/共线安全性等物理对称性保持不变。
• 通过用学习得到的高维表征替代手工设计的可观测量，实现无监督或半监督的喷注物理分析，该表征通过自监督方式优化。
• 使用标准机器学习评估协议（特别是线性分类器测试）对学习表征的判别能力进行基准测试。
• 证明该表征在保持物理判别特征的同时，对特定新物理模型或标注数据保持无偏。

提出的方法

• 该方法采用Transformer编码器网络，将喷注成分（由pt、eta、phi定义）映射到低维、对称性不变的表征空间。
• 通过对比损失函数进行训练，该损失函数促使同一喷注的增强视图（正样本对）在表征空间中彼此靠近，而不同喷注的样本（负样本对）则被推开。
• 通过数据增强手段强制实现关键对称性：旋转、平移、排列不变性，以及通过能量重标度实现软/共线安全性。
• 表征空间被优化为在这些对称性下保持不变，同时保留顶夸克与QCD喷注之间的判别能力。
• 通过10折交叉验证的线性分类器测试（二元交叉熵损失、SVM、LDA）评估性能，以评估表征空间中的线性可分性。
• 该方法在训练过程中无需真实标签，因此为自监督方法，适用于异常检测或通用模型搜索。

实验结果

研究问题

• RQ1 自监督对比学习框架能否学习到对洛伦兹不变性与排列对称性等基本物理对称性保持不变的喷注表征？
• RQ2 在顶夸克喷注识别任务中，JetCLR表征的判别能力与已建立的可观测量（如能量流多项式EFPs）相比如何？
• RQ3 该表征空间在保留顶夸克衰变产物几何结构的同时，对QCD喷注活动的抑制程度如何？
• RQ4 学习到的表征是否能在不依赖训练期间标注数据的情况下支持有效的线性分类？
• RQ5 该表征对不同线性分类器架构和损失函数的鲁棒性如何？

主要发现

• JetCLR在使用二元交叉熵损失的线性分类器测试中AUC达到0.980，优于EFPs（d ≤ 7）的AUC 0.972。
• 该方法在不同线性分类器上表现出强泛化能力：使用合页损失的SVM AUC为0.977，线性判别分析AUC也为0.977，均优于EFPs。
• 通过可视化与消融实验验证，表征空间在喷注成分排列、旋转、平移以及软/共线安全性增强下保持不变。
• 线性分类器测试结果表明，尽管EFPs理论上可计算且具有红外安全性，JetCLR表征在区分顶夸克与QCD喷注方面仍优于EFPs，表现出更好的线性可分性。
• JetCLR与EFPs之间的性能差距在多种分类器类型中保持一致，表明该表征对下游线性探针具有鲁棒性。
• 尽管线性判别分析假设数据服从高斯分布，JetCLR仍取得AUC 0.977的优异表现，表明该表征捕捉到了有意义的、线性可分的结构。