[論文レビュー] Advanced Payment Security System:XGBoost, LightGBM and SMOTE Integrated

Qi Zheng, Chang Yu+4 more|arXiv (Cornell University)|Jun 7, 2024

IPv6, Mobility, Handover, Networks, Security被引用数 16

ひとこと要約

本論文はXGBoost、LightGBM、CatBoostをSMOTEと組み合わせて決済詐欺検出を評価し、XGBoost+SMOTEが主要指標でトップパフォーマーであることを示している。

ABSTRACT

With the rise of various online and mobile payment systems, transaction fraud has become a significant threat to financial security. This study explores the application of advanced machine learning models, specifically based on XGBoost and LightGBM, for developing a more accurate and robust Payment Security Protection Model. To enhance data reliability, we meticulously processed the data sources and applied SMOTE (Synthetic Minority Over-sampling Technique) to address class imbalance and improve data representation. By selecting highly correlated features, we aimed to strengthen the training process and boost model performance. We conducted thorough performance evaluations of our proposed models, comparing them against traditional methods including Random Forest, Neural Network, and Logistic Regression. Using metrics such as Precision, Recall, and F1 Score, we rigorously assessed their effectiveness. Our detailed analyses and comparisons reveal that the combination of SMOTE with XGBoost and LightGBM offers a highly efficient and powerful mechanism for payment security protection. Moreover, the integration of XGBoost and LightGBM in a Local Ensemble model further demonstrated outstanding performance. After incorporating SMOTE, the new combined model achieved a significant improvement of nearly 6\% over traditional models and around 5\% over its sub-models, showcasing remarkable results.

研究の動機と目的

• オンライン決済システムにおける取引詐欺を高度な機械学習モデルで解決する。
• 外れ値除去や特徴量相関などデータ前処理手順を調査し、モデル訓練の改善を図る。
• 詐欺検出におけるクラス不均衡に対するSMOTEの影響を評価する。
• 標準的な指標において、勾配ブースティングモデルを従来の分類器と比較する。

提案手法

• LightGBM、XGBoost、CatBoostを詐欺検出の主要モデルとして用いる。
• 不均衡な詐欺データセットをバランスさせるためにSMOTEを適用し、SMOTEあり/なしで評価する。
• 選択された特徴量（V14、V12、V10）に対してデータクレンジングと外れ値除去を実施する。
• 特徴量の相関を分析し、可視化のために次元削減（t-SNE）を用いる。
• Precision、Recall、F1スコア、ROC AUCを用いてモデルを評価する。
• 指標ごとのモデル性能を比較表として提示する。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングモデルとSMOTEの組み合わせのうち、詐欺検出性能が最も高いのはどれか？
• RQ2 データ前処理手順（外れ値除去、特徴量相関）はモデルの結果にどう影響するか？
• RQ3 高度なモデルは決済詐欺検出において従来の分類器（KNN、SVM、ロジスティック回帰など）を上回るか？
• RQ4 Precision、Recall、F1、AUCにわたるXGBoost、LightGBM、CatBoostの相対的な強みはどれか？
• RQ5 SMOTEはすべてのモデルに有益か、それともいくつかのモデル（例えばLightGBM）はリサンプリングに対して感度が低いか？

主な発見

Model	Precision	Recall	F1-Score	Roc Auc Score
KNN	0.93	0.92	0.92	0.93
SVM	0.93	0.93	0.93	0.9399
NN	0.98	0.9	0.942	0.90
Logical Regression	0.96	0.96	0.96	0.9414
Decision Tree	0.91	0.91	0.91	0.9134
XGBoost	0.9894	0.93	0.958	0.9587
CatBoost	0.9999	0.958	0.92	0.96
LightGBM	0.9999	0.92	0.9583	0.9600
XGBoost + SM	0.9999	0.94	0.969	0.97
CatBoost + SM	0.9999	0.92	0.9583	0.96
LightGBM + SM	0.9999	0.91	0.9529	0.955

• XGBoost+SMOTEは、Precision 0.9999、Recall 0.94、F1 0.969、AUC 0.970で最高の総合指標を達成。
• XGBoost without SMOTE already performs well (Precision 0.9894、Recall 0.93、F1 0.958、AUC 0.9587)。
• CatBoostとLightGBMは複数の指標で非常に高い性能を示し、CatBoostは0.9999のPrecisionと0.958のRecallを達成（F1 0.92、AUC 0.96）。
• LightGBMはSMOTEなしでも非常に良い性能を示すが、SMOTEは複数のモデルでPrecisionを顕著に向上させる。
• 従来のモデル（KNN、SVM、ロジスティック回帰、決定木、NN）と比較して、勾配ブースティングモデルは詐欺検出において顕著な予測利点を示す。
• 本研究はXGBoost+SMOTEが堅牢な詐欺対策決済システムの有力なアプローチであると結論づけている。