[论文解读] Decorrelation with conditional normalizing flows

Samuel Klein, T. Golling|arXiv (Cornell University)|Nov 4, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出使用条件归一化流来消除高能物理中机器学习判别器与受保护属性（如不变质量）之间的相关性，从而在保持信号分离能力的同时消除质量相关的背景塑形。该方法实现了近乎完美的去相关性，且性能损失极小，显著提升了下游 bump-hunt 敏感度，优于标准方法。

ABSTRACT

The sensitivity of many physics analyses can be enhanced by constructing discriminants that preferentially select signal events. Such discriminants become much more useful if they are uncorrelated with a set of protected attributes. In this paper we show that a normalizing flow conditioned on the protected attributes can be used to find a decorrelated representation for any discriminant. As a normalizing flow is invertible the separation power of the resulting discriminant will be unchanged at any fixed value of the protected attributes. We demonstrate the efficacy of our approach by building supervised jet taggers that produce almost no sculpting in the mass distribution of the background.

研究动机与目标

• 解决高能物理分析中的背景质量塑形问题，即由于判别器与不变质量的相关性，导致信号富集样本使背景分布变得不平滑。
• 开发一种后处理去相关方法，确保在受保护属性（如质量）的每个取值下，原始判别器的分离能力保持不变。
• 通过确保在整个质量谱上背景拒绝率保持一致，实现对 bump-hunt 分析的鲁棒性，且不受判别器与质量相关性的影响。
• 提供一种灵活且可逆的框架，可应用于任意判别器和受保护属性集合，且无需重新训练原始模型。

提出的方法

• 训练一个条件归一化流，将判别器得分 $ s_{\phi}(\boldsymbol{x}) $ 映射为新表示 $ f_{\theta}(s_{\phi}(\boldsymbol{x}), \boldsymbol{m}) $，其中 $ \boldsymbol{m} $ 为受保护属性（如质量）。
• 通过变量变换公式下的最大对数似然进行训练，确保变换后的输出服从与 $ \boldsymbol{m} $ 无关的基础分布，从而实现去相关。
• 由于流的可逆性，确保在每个固定的 $ \boldsymbol{m} $ 值下，信号分离能力（如 AUC）保持不变，从而保留判别器的实用性。
• 对流施加单调递增约束，以保持所有质量值下得分的排序关系，这对维持分离能力至关重要。
• 该方法可作为后处理层应用于任意预训练分类器之上，实现去相关而无需重新训练原始模型。
• 还评估了条件分位数回归等替代方法，结果表明其去相关性能相似，但分位数预测更不稳定。

实验结果

研究问题

• RQ1 后处理变换能否在不降低判别器信号分离能力的前提下，将判别器与受保护属性（如不变质量）去相关？
• RQ2 与标准去相关方法相比，条件归一化流在质量谱上实现均匀背景拒绝的能力有多强？
• RQ3 对预训练分类器输出应用条件流是否能提升高能物理中 bump-hunt 分析的鲁棒性？
• RQ4 对判别器输出去相关与对输入特征去相关相比，对分类器性能的影响有何不同？
• RQ5 在多次运行中，条件归一化流与分位数回归在稳定性与去相关性能方面如何比较？

主要发现

• 条件归一化流实现了判别器与质量变量的近乎完美去相关，表现为选择后背景质量分布与随机样本之间的 Jensen-Shannon 散度（JSD）约为 0.001。
• 包含质量的 AUC 从标准 vDNN 的 0.90 降至流去相关版本的 0.84，但这反映的是去除了质量塑形的影响，而非性能损失；因为对信号质量分布的期望 AUC 在两种模型中均为 0.84。
• 条件流去相关的 DisCo 分类器优于标准 DisCo 及输入去相关的 DisCo，表明输出去相关比输入级去相关更有效且成本更低。
• 该方法在每个质量值上均保持了信号分离能力，因为可逆变换确保了在所有质量区间内事件按得分排序的顺序保持不变。
• 分位数回归也实现了良好的去相关性能，但因分位数预测的不连续性导致运行间方差较高，因此不如基于流的方法可靠。
• 该方法在不同背景拒绝水平下均表现稳健，如图 9 所示，条件流与分位数回归在高拒绝阈值下仍能保持去相关性。