[論文レビュー] A Comparison Study of Credit Card Fraud Detection: Supervised versus Unsupervised

Xuetong Niu, Li Wang+1 more|arXiv (Cornell University)|Apr 24, 2019

Imbalanced Data Classification Techniques参考文献 22被引用数 72

ひとこと要約

この論文は Kaggle データセット上で 6 つの supervised と 4 つの unsupervised クレジットカード詐欺検出モデルを比較し、5-fold クロスバリデーションの AUROC を用い、監督ありモデルが監督なしモデルを全体的にやや上回ることを示しています。

ABSTRACT

Credit card has become popular mode of payment for both online and offline purchase, which leads to increasing daily fraud transactions. An Efficient fraud detection methodology is therefore essential to maintain the reliability of the payment system. In this study, we perform a comparison study of credit card fraud detection by using various supervised and unsupervised approaches. Specifically, 6 supervised classification models, i.e., Logistic Regression (LR), K-Nearest Neighbors (KNN), Support Vector Machines (SVM), Decision Tree (DT), Random Forest (RF), Extreme Gradient Boosting (XGB), as well as 4 unsupervised anomaly detection models, i.e., One-Class SVM (OCSVM), Auto-Encoder (AE), Restricted Boltzmann Machine (RBM), and Generative Adversarial Networks (GAN), are explored in this study. We train all these models on a public credit card transaction dataset from Kaggle website, which contains 492 frauds out of 284,807 transactions. The labels of the transactions are used for supervised learning models only. The performance of each model is evaluated through 5-fold cross validation in terms of Area Under the Receiver Operating Curves (AUROC). Within supervised approaches, XGB and RF obtain the best performance with AUROC = 0.989 and AUROC = 0.988, respectively. While for unsupervised approaches, RBM achieves the best performance with AUROC = 0.961, followed by GAN with AUROC = 0.954. The experimental results show that supervised models perform slightly better than unsupervised models in this study. Anyway, unsupervised approaches are still promising for credit card fraud transaction detection due to the insufficient annotation and the data imbalance issue in real-world applications.

研究の動機と目的

• クレジットカード詐欺検出のための監督ありと監督なし機械学習モデルの性能を評価・比較する。
• データラベリング、不均衡、注釈遅延がモデル性能に与える影響を評価する。
• 実世界の詐欺データセットでどのモデルファミリー（監督あり対監督なし）がより高い AUROC を示すかを特定する。

提案手法

• ラベル付き詐欺データを用い、クラスをバランスさせるためダウンサンプリングを行い、6つの監督付きモデル（LR、KNN、SVM、DT、RF、XGB）を評価する。
• ラベルなしデータで訓練された4つの監督なしモデル（OCSVM、AE、RBM、GAN）を評価し、異常検知を行う。
• 5-fold クロスバリデーションと AUROC を性能指標として使用する。
• RobustScaler で Time と Amount を正規化し、不正ケース（詐欺）と同数の 492 件ずつにダウンサンプリングする。
• クロスバリデーション内でグリッドサーチによりハイパーパラメータを調整する。
• AE および GAN アーキテクチャの実装詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 実世界で高度に不均衡なデータセットに対して、監督付きモデルは監督なしモデルと比較して AUROC でどの程度優れるか？
• RQ2 この研究における各カテゴリ（監督付き vs 監督なし）のトップ性能モデルはどれか？
• RQ3 ラベリング要件とデータの不均衡を踏まえた場合、監督付きと監督なしのアプローチの現実的なトレードオフは何か？

主な発見

Model	AUROC
XGB (Supervised)	0.989–0.990
RF (Supervised)	0.988
DT (Supervised)	0.95
LR (Supervised)	not specified in abstract
KNN (Supervised)	not specified in abstract
SVM (Supervised)	not specified in abstract
RBM (Unsupervised)	0.961
GAN (Unsupervised)	0.954
AE (Unsupervised)	not specified in abstract
OC-SVM (Unsupervised)	0.90

• XGBoost（監督付き）はデータセットで最高の AUROC が 0.989–0.990 を達成。
• Random Forest（監督付き）は AUROC が 0.988。
• Decision Tree（監督付き）は AUROC が 0.95（監督付きモデルの中で最も低い）。
• RBM（監督なし）は AUROC が 0.961 で、本研究の監督なし手法の中で最も優れている。
• GAN（監督なし）は AUROC が 0.954。
• OC-SVM（監督なし）は AUROC が 0.90、監督なしモデルの中で最も低い。