[论文解读] Feature Selection with Distance Correlation

Ranit Das, Gregor Kasieczka+1 more|arXiv (Cornell University)|Nov 30, 2022

Machine Learning in Materials Science被引用 4

一句话总结

本文提出了一种基于距离相关性（DisCo）的新型前向特征选择方法，用于在高能物理的喷注鉴别任务中识别最具有信息量的能量流多项式（EFPs）。通过从超过7,000个候选EFP中仅选择9个，该方法在使用参数更少的紧凑深度神经网络（DNN）时，实现了接近当前最先进水平的性能，尤其在提升顶夸克和W玻色子喷注鉴别任务中表现优异，优于以往基于ADO的特征选择方法。

ABSTRACT

Choosing which properties of the data to use as input to multivariate decision algorithms -- a.k.a. feature selection -- is an important step in solving any problem with machine learning. While there is a clear trend towards training sophisticated deep networks on large numbers of relatively unprocessed inputs (so-called automated feature engineering), for many tasks in physics, sets of theoretically well-motivated and well-understood features already exist. Working with such features can bring many benefits, including greater interpretability, reduced training and run time, and enhanced stability and robustness. We develop a new feature selection method based on Distance Correlation (DisCo), and demonstrate its effectiveness on the tasks of boosted top- and $W$-tagging. Using our method to select features from a set of over 7,000 energy flow polynomials, we show that we can match the performance of much deeper architectures, by using only ten features and two orders-of-magnitude fewer model parameters.

研究动机与目标

• 开发一种在高能物理多变量喷注鉴别任务中更高效、更有效的特征选择方法。
• 在保持或提升分类器性能的同时，减少输入特征数量，尤其适用于触发系统中的轻量化推理。
• 实现无需预训练参考模型的端到端训练与黑箱分类器的可解释性。
• 通过采用更具鲁棒性的统计依赖度量，改进现有前向特征选择技术（如ADO）的性能。

提出的方法

• 使用距离相关性（DisCo）作为评分函数，衡量候选特征与目标标签（信号 vs. 背景）之间的统计依赖性。
• 采用前向选择策略：迭代选择与目标标签距离相关性最高的EFP，然后在已选集合的条件下重新评分剩余特征。
• 采用非参数化、仿射不变的依赖度量，能够捕捉线性和非线性关系，与皮尔逊相关系数不同。
• 仅在排名靠前的EFP上训练紧凑的深度神经网络（DNN），从而实现快速推理并降低模型复杂度。
• 支持两种运行模式：(1) 使用真实标签进行端到端训练；(2) 解释预训练的黑箱分类器。
• 使用标准喷注鉴别基准进行性能验证：提升的顶夸克和W玻色子喷注，EFP基于模拟喷注事件生成。

实验结果

研究问题

• RQ1 基于距离相关性的特征选择方法是否能在识别喷注鉴别中最具信息量的EFP方面超越现有方法（如ADO）？
• RQ2 通过DisCo选择的小型EFP集合在多大程度上能匹配在完整特征集上训练的深度学习模型的性能？
• RQ3 当直接从真实标签进行训练时，DisCo方法是否仍能保持高性能，而无需依赖预训练的参考分类器？
• RQ4 与当前最先进架构相比，所选特征集在模型效率、参数数量和推理速度方面表现如何？

主要发现

• 基于DisCo的方法从超过7,000个候选EFP中仅选择9个，即可在提升顶夸克喷注鉴别中实现接近最先进水平的性能，其拒绝能力与ParticleNet-Lite相当。
• 基于所选9个EFP训练的紧凑DNN，其参数量比ParticleNet-Lite少两个数量级，从而实现更快的推理速度并降低训练成本。
• 在顶夸克和W玻色子喷注鉴别任务中，DisCo方法均优于[30]中基于ADO的特征选择方法，在使用更少特征的情况下实现了更优性能。
• 当直接从真实标签进行端到端训练时，DisCo方法仍能保持强性能，而ADO方法在此类条件下性能显著下降。
• 所选EFP具有高度信息量，能够捕捉喷注子结构中复杂且非线性的相关性，这对分类至关重要。
• 该方法表明，经过精心挑选的少量理论驱动特征，可与在海量未处理输入上训练的深度学习模型相媲美。