[论文解读] Boosted Decision Trees, an Alternative to Artificial Neural Networks

Byron P. Roe, Haijun Yang+4 more|arXiv (Cornell University)|Aug 30, 2004

Neural Networks and Applications被引用 58

一句话总结

本文评估了提升决策树（BDT）作为高能物理中粒子识别任务的替代方法，以费米实验室的MiniBooNE实验为例。基于蒙特卡洛模拟，BDT在识别粒子方面优于人工神经网络（ANN），表现出更优的性能，表明其在物理数据分析中具有更广泛的应用潜力。

ABSTRACT

The efficacy of particle identification is compared using artificial neutral networks and boosted decision trees. The comparison is performed in the context of the MiniBooNE, an experiment at Fermilab searching for neutrino oscillations. Based on studies of Monte Carlo samples of simulated data, particle identification with boosting algorithms has better performance than that with artificial neural networks for the MiniBooNE experiment. Although the tests in this paper were for one experiment, it is expected that boosting algorithms will find wide application in physics.

研究动机与目标

• 比较提升决策树（BDT）与人工神经网络（ANN）在粒子识别任务中的性能表现。
• 评估BDT是否可作为高能物理实验中ANN的可行且潜在更优的替代方案。
• 利用MiniBooNE实验的模拟数据评估BDT的有效性。
• 判断在此背景下BDT性能的提升是否暗示其在更广泛物理实验中的适用性。

提出的方法

• 本研究采用蒙特卡洛模拟生成代表MiniBooNE实验的合成数据。
• 在相同的模拟数据集上，使用提升决策树和人工神经网络进行粒子识别。
• BDT算法通过构建一系列决策树的集成，每棵树专注于纠正前序树的误差，从而提升整体分类准确率。
• 使用标准分类指标（如信号效率和背景拒绝率）评估性能。
• 在相同条件下进行比较，以确保对两种方法的公平评估。
• 分析聚焦于在MiniBooNE探测器环境中识别带电π介子和质子。

实验结果

研究问题

• RQ1 与人工神经网络相比，提升决策树在MiniBooNE实验中是否提升了粒子识别性能？
• RQ2 在模拟数据中，BDT与ANN在区分π介子和质子方面的相对效率如何？
• RQ3 在此背景下，BDT是否能实现优于ANN的信号与背景分离？
• RQ4 BDT在高能物理中不同粒子识别任务中的泛化能力如何？
• RQ5 BDT的性能提升在不同信号与背景配置下是否具有一致性？

主要发现

• 基于蒙特卡洛模拟，提升决策树在MiniBooNE实验的粒子识别中优于人工神经网络。
• BDT方法在保持或提升背景拒绝率的同时，实现了更高的信号效率。
• BDT的性能优势在本研究使用的多种评估指标中保持一致。
• 结果表明，BDT在此特定实验背景下是更有效的粒子识别工具。
• 研究结论认为，BDT是ANN的强有力替代方案，预计将在高能物理中得到广泛应用。