[論文レビュー] Efficient Fraud Detection Using Deep Boosting Decision Trees

Biao Xu, Yao Wang+2 more|arXiv (Cornell University)|Feb 12, 2023

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

本論文は、表現学習の向上を図りながらもモデルの解釈可能性を保ったまま、深層学習と勾配ブースティング決定木を統合する新規な不正検出フレームワーク、Deep Boosting Decision Trees (DBDT) を提案する。微分可能でソフトな決定木を用い、組み合わせ型AUC最大化による学習により、データの不均衡に起因する性能劣化を克服し、従来の木ベースのモデルやリサンプリングに基づく深層学習手法を凌駉する最先端の性能を達成するとともに、高い解釈可能性を維持する。

ABSTRACT

Fraud detection is to identify, monitor, and prevent potentially fraudulent activities from complex data. The recent development and success in AI, especially machine learning, provides a new data-driven way to deal with fraud. From a methodological point of view, machine learning based fraud detection can be divided into two categories, i.e., conventional methods (decision tree, boosting...) and deep learning, both of which have significant limitations in terms of the lack of representation learning ability for the former and interpretability for the latter. Furthermore, due to the rarity of detected fraud cases, the associated data is usually imbalanced, which seriously degrades the performance of classification algorithms. In this paper, we propose deep boosting decision trees (DBDT), a novel approach for fraud detection based on gradient boosting and neural networks. In order to combine the advantages of both conventional methods and deep learning, we first construct soft decision tree (SDT), a decision tree structured model with neural networks as its nodes, and then ensemble SDTs using the idea of gradient boosting. In this way we embed neural networks into gradient boosting to improve its representation learning capability and meanwhile maintain the interpretability. Furthermore, aiming at the rarity of detected fraud cases, in the model training phase we propose a compositional AUC maximization approach to deal with data imbalances at algorithm level. Extensive experiments on several real-life fraud detection datasets show that DBDT can significantly improve the performance and meanwhile maintain good interpretability. Our code is available at https://github.com/freshmanXB/DBDT.

研究の動機と目的

• 不正検出において、深層学習の表現学習と従来の木ベースのモデルの解釈可能性の間のトレードオフを解消すること。
• 不正事例が稀である不正検出データセットにおけるクラスの不均衡が引き起こす性能劣化を克服すること。
• データリサンプリング技術に依存せず、アルゴリズムレベルでAUCを最適化する学習戦略を開発すること。
• ニューラルネットワークに基づくスプリットによる汎化性能の向上を図りながらも、構造的な意思決定パスにより解釈可能性を維持すること。
• DBDTの実世界における不正検出シナリオ（特徴量重要度分析やハイパーパrameterに対するロバストネスを含む）における有効性を評価すること。

提案手法

• 各ノードがニューラルネットワークを用いてスプリット確率を計算する微分可能なソフト決定木（SDT）を構築し、勾配ベースの最適化が可能となり、従来のグリーディスプリットに比べて一般化性能と安定性が向上する。
• SDTを勾配ブースティングフレームワークに統合し、段階的に異なる微分可能な損失関数を最小化するように訓練することで、ブースティングとディープラーニングの長所を組み合わせる。
• トレーニング中に受容的曲線下積（AUC）を直接最適化する組み合わせ型AUC最大化目的関数を設計し、リサンプリングに依存せずに不均衡データに対して優れた性能を発揮する。
• 確率的勾配降下法（SGD）を用いてエンドツーエンドのDBDTモデルを訓練し、大規模データセットへの効率的最適化とスケーラビリティを実現する。
• Out-of-Bag（OOB）データの特徴量をランダムにシャッフルし、AUCの低下量を重要度指標として用いる、パーミュテーションに基づく特徴量重要度手法を実装する。
• ニューラルネットワークノードを含んでも、構造的なブースティングアーキテクチャにより意思決定パスや特徴量寄与度を露出させ、解釈可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でソフトな決定木構造は、従来の決定木と比較して、不正検出における一般化性能と安定性を向上させることができるか？
• RQ2 勾配ブースティングにニューラルネットワークを統合することで、モデルの解釈性を損なわず、表現学習を強化できるか？
• RQ3 トレーニング段階で組み合わせ型AUC最大化を実施することで、リサンプリング手法に劣らない不均衡データへの対処が可能になるか？
• RQ4 実世界の不正検出データセットにおいて、XGBoost、GBDT、およびディープラーニングモデルと比較して、DBDTの性能と解釈可能性はどのように異なるか？
• RQ5 DBDTモデルはハイパーパrameterの変化に対してどれほどロバストであり、実際の運用において予測の解釈性はどの程度高いか？

主な発見

• リサンプリングを行わず学習したDBDT-SGDは、AdaBoost や GBDT といった一般的な分類アルゴリズムを大きく上回り、強力なベースライン性能を示した。
• 組み合わせ型AUC最大化戦略を用いて学習した場合、DBDTはリサンプリングに基づくアプローチを上回る優れたAUC性能を達成し、アルゴリズムレベルでの不均衡対処の有効性を実証した。
• ローン不正検出データセットにおける上位5つの重要特徴量は、過去6か月間のクレジットインquiries（22.8%）、ローン目的（18.9%）、FICOスコア（16.1%）、月々の支払額（10.9%）、年収の対数（10.7%）であり、行動的・信用リスク指標を反映している。
• ハイパーパrameter設定の変化に対してもモデルは高い安定性を示し、ロバストネスと実用的利便性を兼ね備えている。
• 事例研究により、ニューラルネットワークノードを含んでも、明確な意思決定パスと特徴量重要度順位により、DBDTは強い解釈可能性を維持していることが確認された。
• 組み合わせ型AUC最大化戦略は移植可能であり、他のモデルへ応用することで不均衡データに対する性能向上が可能である。