[论文解读] Dealing with Nuisance Parameters using Machine Learning in High Energy Physics: a Review

T. Dorigo, Pablo de Oliveira Castro|arXiv (Cornell University)|Jul 17, 2020

Particle physics theoretical and experimental studies参考文献 55被引用 7

一句话总结

本文综述了机器学习技术在高能物理中缓解干扰参数（系统性不确定性的系统性不确定性）对统计推断影响的应用。提出了一类推断感知方法，如改进的损失函数和密度比估计，使模型训练直接与下游统计目标对齐，与标准分类方法相比，显著提升了发现灵敏度和参数估计精度。

ABSTRACT

In this work we discuss the impact of nuisance parameters on the effectiveness of machine learning in high-energy physics problems, and provide a review of techniques that allow to include their effect and reduce their impact in the search for optimal selection criteria and variable transformations. The introduction of nuisance parameters complicates the supervised learning task and its correspondence with the data analysis goal, due to their contribution degrading the model performances in real data, and the necessary addition of uncertainties in the resulting statistical inference. The approaches discussed include nuisance-parameterized models, modified or adversary losses, semi-supervised learning approaches, and inference-aware techniques.

研究动机与目标

• 解决干扰参数——由不完美模拟引入的系统性不确定性——对高能物理中机器学习模型性能和统计推断造成的负面影响。
• 识别标准机器学习训练目标（如分类准确率）与真实推断目标（如参数估计或假设检验）之间的错位。
• 综述并评估直接将干扰参数整合进学习过程的先进机器学习技术，以提升鲁棒性和统计效能。
• 证明推断感知模型在灵敏度和精度方面优于传统基于分类的摘要统计量，尤其在模型不确定性下表现更优。
• 全面概述新兴方法，如损失函数修改、半监督学习以及费舍尔信息最大化，用于干扰感知表征学习。

提出的方法

• 将高能物理中的监督学习建模为密度比估计，其中分类器输出近似信号与背景事件密度的比值，从而通过贝叶斯法则实现推断。
• 引入以干扰参数为条件的模型，在训练过程中显式地将分类器与干扰参数关联，使模型能够学习不变表征。
• 应用修改后的或对抗性损失函数，惩罚模型对干扰参数的依赖性，同时保持对感兴趣参数的敏感性。
• 利用半监督学习在训练中引入真实数据约束，减少对可能有偏模拟的依赖。
• 实施推断感知训练目标——如 Inferno 和 Neos 中的方法——以优化统计效能（如 CLs 上限）或费舍尔信息，直接将训练与下游推断目标对齐。
• 利用可微变换和基于梯度的优化（如固定点微分）计算轮廓似然的梯度，实现对干扰不确定性下摘要统计量的端到端优化。

实验结果

研究问题

• RQ1 模拟数据中的干扰参数在多大程度上降低标准机器学习模型在高能物理中的性能？
• RQ2 修改后的损失函数在多大程度上可减少学习到的摘要统计量对系统性不确定性的敏感性？
• RQ3 在存在干扰参数的情况下，优化 CLs 或费舍尔信息的推断感知训练目标是否能优于基于标准分类的特征学习？
• RQ4 在模型不确定性下，密度比估计与基于得分的摘要方法在保持统计效能方面如何比较？
• RQ5 将现有机器学习框架（如神经网络）以合理方式扩展以处理干扰参数，其实际限制和权衡是什么？

主要发现

• 推断感知机器学习方法，如针对 CLs 或费舍尔信息进行优化的方法，在统计效能和对新物理信号的灵敏度方面显著优于基于标准分类的摘要统计量。
• Inferno 和 Neos 等方法通过直接优化预期上限（CLs），实现了优于传统模型的性能，降低了系统性不确定性对发现能力的影响。
• 通过神经网络实现的密度比估计为构建既具信息量又对干扰参数具有鲁棒性的摘要统计量提供了稳健框架。
• 将网络输出协方差矩阵的行列式纳入损失函数的方法有助于稳定训练，并在不确定性下提升泛化能力。
• Neos 中使用固定点微分可直接优化轮廓似然，无需 Hessian 近似，从而提高了不确定性量化中的精度。
• 即使简单的修改——如将系统性不确定性影响直接纳入损失函数——也能在显著性和鲁棒性方面带来显著提升，如在希格斯玻色子基准扩展中的实证所示。