[논문 리뷰] Advanced Payment Security System:XGBoost, LightGBM and SMOTE Integrated

Qi Zheng, Chang Yu외 4명|arXiv (Cornell University)|2024. 06. 07.

IPv6, Mobility, Handover, Networks, Security인용 수 16

한 줄 요약

본 논문은 XGBoost, LightGBM, CatBoost를 SMOTE와 함께 평가하여 지불 사기 탐지에서 XGBoost+SMOTE가 주요 지표에서 최상위 성능을 보임.

ABSTRACT

With the rise of various online and mobile payment systems, transaction fraud has become a significant threat to financial security. This study explores the application of advanced machine learning models, specifically based on XGBoost and LightGBM, for developing a more accurate and robust Payment Security Protection Model. To enhance data reliability, we meticulously processed the data sources and applied SMOTE (Synthetic Minority Over-sampling Technique) to address class imbalance and improve data representation. By selecting highly correlated features, we aimed to strengthen the training process and boost model performance. We conducted thorough performance evaluations of our proposed models, comparing them against traditional methods including Random Forest, Neural Network, and Logistic Regression. Using metrics such as Precision, Recall, and F1 Score, we rigorously assessed their effectiveness. Our detailed analyses and comparisons reveal that the combination of SMOTE with XGBoost and LightGBM offers a highly efficient and powerful mechanism for payment security protection. Moreover, the integration of XGBoost and LightGBM in a Local Ensemble model further demonstrated outstanding performance. After incorporating SMOTE, the new combined model achieved a significant improvement of nearly 6\% over traditional models and around 5\% over its sub-models, showcasing remarkable results.

연구 동기 및 목표

• 온라인 결제 시스템에서 거래 사기를 해결하기 위해 고급 ML 모델을 활용한다.
• 데이터 전처리 단계(이상치 제거 및 특징 상관관계)을 조사하여 모델 훈련을 향상시킨다.
• 사기 탐지를 위한 클래스 불균형에 대한 SMOTE의 영향을 평가한다.
• 표준 지표를 기준으로 전통 분류기와 gradient-boosting 모델을 비교한다.

제안 방법

• 결함 탐지를 위한 주 모델로 LightGBM, XGBoost, CatBoost를 사용한다.
• Imbalanced data에 대해 SMOTE를 적용하여 사기 데이터 세트를 균형화하고 SMOTE 여부에 따라 평가한다.
• 선택된 특징(V14, V12, V10)에 대한 데이터 정리 및 이상치 제거를 수행한다.
• 특징 상관관계를 분석하고 시각화를 위한 차원 축소(t-SNE)를 사용한다.
• 정밀도, 재현율, F1 점수, ROC AUC로 모델을 평가한다.
• 지표별로 모델 성능의 비교 표를 제시한다.

실험 결과

연구 질문

• RQ1 어떤 gradient-boosting 모델과 SMOTE 조합이 최상의 사기 탐지 성능을 내는가?
• RQ2 데이터 전처리 단계(이상치 제거, 특징 상관관계)가 모델 결과에 어떤 영향을 미치는가?
• RQ3 고급 모델이 결제 사기 탐지에서 전통적 분류기(KNN, SVM, 로지스틱 회귀 등)보다 성능이 우수한가?
• RQ4 XGBoost, LightGBM, CatBoost의 정밀도, 재현율, F1 및 AUC의 상대적 강점은 무엇인가?
• RQ5 SMOTE가 모든 모델에 유익한가, 아니면 일부 모델(예: LightGBM)이 재샘플링에 덜 민감한가?

주요 결과

• XGBoost+SMOTE가 정밀도 0.9999, 재현율 0.94, F1 0.969, AUC 0.970으로 결합 지표 최고를 달성한다.
• XGBoost는 SMOTE 없이도 이미 우수한 성능을 보인다(정밀도 0.9894, 재현율 0.93, F1 0.958, AUC 0.9587).
• CatBoost와 LightGBM은 여러 지표에서 매우 강력한 성능을 보이며 CatBoost는 0.9999의 정밀도와 0.958의 재현율(F1 0.92; AUC 0.96)을 달성한다.
• LightGBM은 SMOTE 없이도 특히 뛰어난 성능을 보이나 SMOTE는 여러 모델에서 정밀도를 크게 향상시킨다.
• 전통적 모델(KNN, SVM, 로지스틱 회귀, 의사 결정 트리, NN)과 비교할 때, gradient-boosting 모델이 사기 탐지에 대해 상당한 예측 우위를 보인다.
• 연구는 XGBoost+SMOTE가 견고한 지불 시스템 반부정(anti-fraud) 접근법으로 선도적임을 결론지었다.