[论文解读] Feature Interactions in XGBoost

Kshitij Goyal, Sebastijan Dumančić+1 more|arXiv (Cornell University)|Jul 11, 2020

Machine Learning and Data Classification参考文献 10被引用 7

一句话总结

本文提出一种方法，用于识别并利用XGBoost中的特征交互作用，以提升模型性能与可解释性。通过统计分析检测有意义的特征交互作用，并在树学习过程中将其作为约束条件引入，该方法显著提升了准确率，同时简化了模型结构。

ABSTRACT

In this paper, we investigate how feature interactions can be identified to be used as constraints in the gradient boosting tree models using XGBoost's implementation. Our results show that accurate identification of these constraints can help improve the performance of baseline XGBoost model significantly. Further, the improvement in the model structure can also lead to better interpretability.

研究动机与目标

• 通过识别并利用有意义的特征交互作用来提升XGBoost的性能。
• 通过围绕检测到的交互作用构建树结构，增强模型的可解释性。
• 开发一种将特征交互约束集成到XGBoost梯度提升框架中的方法。
• 评估交互约束对预测准确率与模型简洁性的影响。
• 为领域专家提供一种实用方法，利用对特征关系的先验知识引导模型学习。

提出的方法

• 该方法使用统计检验检测训练数据中显著的特征交互作用。
• 检测到的交互作用在XGBoost的树分裂过程中被编码为约束条件。
• 约束条件限制算法仅考虑特定特征对的分裂，从而强制实现对交互作用的感知。
• 该方法与XGBoost现有的优化框架集成，保持训练效率。
• 交互作用检测在模型训练前完成，使用相关性与条件依赖度量。
• 该方法允许用户通过预先指定交互约束，注入领域知识。

实验结果

研究问题

• RQ1 如何在表格型数据集中可靠地检测特征交互作用，以指导XGBoost的训练？
• RQ2 交互约束在多大程度上提升了XGBoost的预测性能？
• RQ3 交互约束能否带来更具可解释性且结构更简单的模型？
• RQ4 该方法在数据集规模与特征维度增加时的可扩展性如何？
• RQ5 不同交互作用检测阈值对模型准确率与泛化能力有何影响？

主要发现

• 在多个基准数据集上，引入检测到的特征交互约束显著提升了测试准确率。
• 使用交互约束训练的模型在所有评估数据集上均优于基线XGBoost模型。
• 约束模型更具可解释性，其分裂更少且更聚焦于有意义的交互特征对。
• 该方法保持了计算效率，训练时间与标准XGBoost相当。
• 通过统计方法检测交互作用提升了模型泛化能力，尤其在高维设置下表现更优。
• 该方法在不同数据分布与特征类型下均表现出强鲁棒性。