[论文解读] Extracting more from boosted decision trees: A high energy physics case study

Vidhi Lalchand|arXiv (Cornell University)|Jan 16, 2020

Particle physics theoretical and experimental studies参考文献 12被引用 5

一句话总结

本文提出了一种新颖的集成方法——增强极化随机森林（BXT），通过结合提升法与自助采样法，提升高能物理中增强决策树（BDT）的性能。通过在树分裂过程中引入随机性并利用自助采样，BXT有效降低了过拟合现象，提升了泛化能力，在ATLAS Higgs到tau-tau数据集上实现了3.79361σ的AMS分数，非常接近获胜的深度神经网络（DNN）集成模型的3.8058σ，同时在计算效率上显著更优。

ABSTRACT

Particle identification is one of the core tasks in the data analysis pipeline at the Large Hadron Collider (LHC). Statistically, this entails the identification of rare signal events buried in immense backgrounds that mimic the properties of the former. In machine learning parlance, particle identification represents a classification problem characterized by overlapping and imbalanced classes. Boosted decision trees (BDTs) have had tremendous success in the particle identification domain but more recently have been overshadowed by deep learning (DNNs) approaches. This work proposes an algorithm to extract more out of standard boosted decision trees by targeting their main weakness, susceptibility to overfitting. This novel construction harnesses the meta-learning techniques of boosting and bagging simultaneously and performs remarkably well on the ATLAS Higgs (H) to tau-tau data set (ATLAS et al., 2014) which was the subject of the 2014 Higgs ML Challenge (Adam-Bourdarios et al., 2015). While the decay of Higgs to a pair of tau leptons was established in 2018 (CMS collaboration et al., 2017) at the 4.9$σ$ significance based on the 2016 data taking period, the 2014 public data set continues to serve as a benchmark data set to test the performance of supervised classification schemes. We show that the score achieved by the proposed algorithm is very close to the published winning score which leverages an ensemble of deep neural networks (DNNs). Although this paper focuses on a single application, it is expected that this simple and robust technique will find wider applications in high energy physics.

研究动机与目标

• 为解决标准增强决策树（BDT）在高能物理（HEP）分类中普遍存在的过拟合问题。
• 提升在重叠与类别不平衡数据集上的粒子识别性能，此类数据集在HEP中极为常见。
• 开发一种统一框架，融合提升法（减少偏差）与自助采样法（减少方差）的优势。
• 证明更简单、可解释的模型（如BXT）可在基准HEP数据集上与深度神经网络（DNN）相媲美。

提出的方法

• 该方法提出增强极化随机森林（BXT），一种BDT的变体，其在每个提升阶段内应用自助采样法，即在数据的自助样本上进行训练。
• 在每次提升迭代中，基学习器（极化随机树）在数据的自助样本上进行训练，特征分裂点在特征取值范围内随机选择，以增强多样性。
• 最终预测为所有树输出的加权和，其中权重根据误分类误差自适应学习，遵循AdaBoost原理。
• 算法采用统一的第85百分位数阈值作为判别分数的选取区域，确保与先前工作的公平比较。
• 通过随机化分裂点与使用自助采样，最小化树之间的相关性，提升集成多样性并降低过拟合风险。
• 该方法在2014年Higgs机器学习挑战赛数据集上进行评估，该数据集是HEP分类的标准基准。

实验结果

研究问题

• RQ1 在单一框架中结合自助采样与提升法，能否提升增强决策树在粒子物理分类中的鲁棒性与性能？
• RQ2 在重叠与类别不平衡的HEP数据集上，增强集成中树的多样性如何影响分类性能？
• RQ3 在不依赖大规模计算资源的前提下，更简单的基于树的集成能否在ATLAS Higgs到tau-tau数据集上媲美深度神经网络（DNN）的性能？
• RQ4 与标准BDT相比，所提出的BXT方法在高维、噪声较大的HEP数据中在多大程度上减少了过拟合？
• RQ5 BXT性能的提升是源于更好的泛化能力，还是源于集成中更高的多样性？

主要发现

• BXT模型在ATLAS Higgs到tau-tau数据集上实现了3.79361σ的近似中位数显著性（AMS），非常接近获胜的DNN集成模型的3.8058σ。
• 与标准BDT相比，BXT在过拟合方面表现更优，表现为集成中单个树之间的相关性更低。
• BXT模型在20×100棵树的设置下，仅需983.26秒的CPU训练时间，远低于DNN（70个模型，每个约600秒，GPU训练），计算效率显著更高。
• 与标准BDT相比，BXT集成表现出更高的树间去相关性，表明其多样性更强，泛化能力更优。
• 该方法使用白盒、可解释的模型实现了接近最先进水平的性能，表明在高性能HEP分类中，DNN并非总是必需的。
• 结果表明，在单一框架中结合提升法与自助采样，可从如决策树等简单而稳健的基学习器中获得显著的性能提升。