[论文解读] Efficient Fraud Detection Using Deep Boosting Decision Trees

Biao Xu, Yao Wang+2 more|arXiv (Cornell University)|Feb 12, 2023

Imbalanced Data Classification Techniques被引用 5

一句话总结

本文提出深度提升决策树（DBDT），一种新颖的欺诈检测框架，将神经网络整合进梯度提升决策树，以增强表征学习能力，同时保持模型可解释性。通过采用可微分的软决策树并基于组合AUC最大化进行训练，DBDT在类别不平衡的欺诈检测数据集上实现了最先进性能，优于传统树模型和基于重采样的深度学习方法，同时保持了高可解释性。

ABSTRACT

Fraud detection is to identify, monitor, and prevent potentially fraudulent activities from complex data. The recent development and success in AI, especially machine learning, provides a new data-driven way to deal with fraud. From a methodological point of view, machine learning based fraud detection can be divided into two categories, i.e., conventional methods (decision tree, boosting...) and deep learning, both of which have significant limitations in terms of the lack of representation learning ability for the former and interpretability for the latter. Furthermore, due to the rarity of detected fraud cases, the associated data is usually imbalanced, which seriously degrades the performance of classification algorithms. In this paper, we propose deep boosting decision trees (DBDT), a novel approach for fraud detection based on gradient boosting and neural networks. In order to combine the advantages of both conventional methods and deep learning, we first construct soft decision tree (SDT), a decision tree structured model with neural networks as its nodes, and then ensemble SDTs using the idea of gradient boosting. In this way we embed neural networks into gradient boosting to improve its representation learning capability and meanwhile maintain the interpretability. Furthermore, aiming at the rarity of detected fraud cases, in the model training phase we propose a compositional AUC maximization approach to deal with data imbalances at algorithm level. Extensive experiments on several real-life fraud detection datasets show that DBDT can significantly improve the performance and meanwhile maintain good interpretability. Our code is available at https://github.com/freshmanXB/DBDT.

研究动机与目标

• 解决深度学习中的表征学习与传统树模型可解释性之间的权衡问题，以提升欺诈检测性能。
• 克服欺诈检测数据集中因欺诈样本稀少而导致的类别不平衡问题。
• 开发一种在算法层面直接优化AUC的训练策略，而非依赖数据重采样技术。
• 通过结构化的决策路径保持模型可解释性，同时利用基于神经网络的分裂方式增强泛化能力。
• 在真实欺诈检测场景中评估DBDT的有效性，包括特征重要性分析以及对超参数的鲁棒性。

提出的方法

• 构建一个可微分的软决策树（SDT），其中每个节点使用神经网络计算分裂概率，支持基于梯度的优化，并在泛化能力上优于传统贪婪分裂方式。
• 将SDT集成到梯度提升框架中，通过顺序训练最小化可微分损失函数，从而结合提升方法与深度学习的优势。
• 设计一种组合式AUC最大化目标函数，在训练过程中直接优化ROC曲线下方面积，提升在类别不平衡数据上的性能，无需重采样。
• 使用随机梯度下降（SGD）训练端到端的DBDT模型，实现高效优化并可扩展至大规模数据集。
• 基于袋外（OOB）数据的特征置换实现特征重要性方法，通过随机打乱每个特征并测量AUC的下降幅度来衡量其重要性。
• 通过结构化的提升架构暴露决策路径与特征贡献，即使在使用神经网络节点的情况下也保持可解释性。

实验结果

研究问题

• RQ1 与传统决策树相比，可微分的软决策树结构是否能在欺诈检测中提升泛化能力与稳定性？
• RQ2 将神经网络整合进梯度提升是否能在不牺牲模型可解释性的前提下增强表征学习能力？
• RQ3 在训练过程中采用组合式AUC最大化是否能有效处理欺诈检测中的数据不平衡问题，优于传统重采样技术？
• RQ4 DBDT在真实欺诈检测数据集上与XGBoost、GBDT及深度学习模型相比，在性能与可解释性方面表现如何？
• RQ5 DBDT模型在超参数变化下具有多大程度的鲁棒性？其预测在实际应用中可解释性如何？

主要发现

• DBDT-SGD在未进行数据重采样的情况下，显著优于AdaBoost和GBDT等通用分类算法，展现出强大的基线性能。
• 当采用组合式AUC最大化策略进行训练时，DBDT在AUC性能上优于基于重采样的方法，证明了算法层面处理不平衡问题的有效性。
• 在贷款欺诈数据集中，最重要的五个特征依次为：过去6个月内的信用查询次数（22.8%）、贷款用途（18.9%）、FICO评分（16.1%）、月供金额（10.9%）以及年收入的对数（10.7%），反映了行为与信用风险指标。
• 模型在不同超参数设置下表现出高度稳定性，表明其具备鲁棒性与实际可用性。
• 案例研究证实，DBDT通过清晰的决策路径与特征重要性排序，即使在使用神经网络节点的情况下，仍保持了强大的可解释性。
• 组合式AUC最大化策略具有可迁移性，可推广至其他模型，以提升在类别不平衡数据上的性能。