[论文解读] Adversarial domain adaptation to reduce sample bias of a high energy physics event classifier

Jose M. Clavijo, P. C. F. Glaysher+2 more|arXiv (Cornell University)|Jan 1, 2021

Particle physics theoretical and experimental studies被引用 3

一句话总结

该论文提出一种带有梯度反传层的域对抗神经网络（DANN），以减少高能物理事例分类中的样本偏差，特别针对大型强子对撞机（LHC）中罕见的 $t\bar{t}H$（H→bb）信号。通过联合训练信号与背景分类器以及域判别器以最小化特定域的特征，该方法降低了对背景模型的依赖，将信号纯度在50%效率下的不确定性从47%降低至0.3%。

ABSTRACT

We apply adversarial domain adaptation in unsupervised setting to reduce sample bias in a supervised high energy physics events classifier training. We make use of a neural network containing event and domain classifier with a gradient reversal layer to simultaneously enable signal versus background events classification on the one hand, while on the other hand minimizing the difference in response of the network to background samples originating from different Monte Carlo models via adversarial domain classification loss. We show the successful bias removal on the example of simulated events at the Large Hadron Collider with signal versus background classification and discuss implications and limitations of the method.

研究动机与目标

• 解决基于不同背景模型的蒙特卡洛模拟训练的高能物理分类器中存在的样本偏差问题。
• 降低分类器对训练期间所用特定背景模型的依赖，否则将导致测量中出现巨大不确定性。
• 实现在无需目标数据标签的情况下，对真实碰撞数据进行无监督域自适应。
• 研究对抗域自适应中超参数选择与训练稳定性的影响力，适用于复杂、高维的物理数据。
• 证明域自适应可在保持分类能力的同时，实现在真实LHC物理场景中学习域不变表示。

提出的方法

• 构建一个深层神经网络，包含共享的特征提取器和两个独立分支：一个用于信号/背景分类，另一个用于域分类（即背景模型）。
• 在特征提取器与域分类器之间集成一个梯度反传层（GRL），以反向传播梯度，促使特征提取器学习域不变表示。
• 使用带标签的源数据（模拟事例）和无标签的目标数据（其他MC背景模型）以端到端方式联合训练网络，损失函数综合平衡分类任务与域自适应任务。
• 为提升训练稳定性和收敛性，对域分类器采用线性激活函数和损失函数。
• 通过一种无需目标数据标签的程序，优化控制域分类器对标签分类器影响的超参数 $\lambda$。
• 采用物理相关指标（如信号纯度、中位显著性、ROC曲线下面积）评估性能，对比自适应与非自适应模型的表现。

实验结果

研究问题

• RQ1 对抗域自适应能否有效减少高能物理事例分类中因蒙特卡洛背景模型差异导致的分类器偏差？
• RQ2 超参数选择（尤其是 $\lambda$）如何影响域对抗训练过程的性能与稳定性？
• RQ3 在无标签目标数据的前提下，能否从高维、基于物理的喷注特征中学习到域不变特征？
• RQ4 标签分布偏移（例如源域与目标域中信号与背景比例不同）对无监督域自适应成功的影响如何？
• RQ5 该方法能否扩展至单次训练中处理多个替代背景模型或其他不确定性来源？

主要发现

• 所提出的域对抗网络成功将因背景模型选择导致的信号纯度不确定性从47%降低至0.3%（在50%信号效率下），显著提升了测量灵敏度。
• 该方法在域自适应后仍保持了绝大部分原始分类能力，AUC值保持在较高水平（AUC ≈ 0.95）。
• 与非线性激活函数相比，使用线性激活函数和损失函数可显著提升训练稳定性和收敛性。
• 若无法准确估计真实数据中的信号与背景比例，由于标签分布偏移，仍可能产生微小的残余偏差，凸显了该方法的关键局限性。
• 该方法在扩展至多领域方面展现出潜力，但同时处理数据分布与标签分布偏移仍是开放挑战。
• 在本研究中，伪标签方法在联合处理数据与标签分布偏移方面表现不足，表明需采用更先进的架构才能完全实现对真实碰撞数据的无监督自适应。