[論文レビュー] Credit Card Fraud Detection Using Advanced Transformer Model

Chang Yu, Yongshun Xu+4 more|arXiv (Cornell University)|Jun 6, 2024

Imbalanced Data Classification Techniques被引用数 8

ひとこと要約

この論文は Transformer エンコーダー アーキテクチャをクレジットカード不正検出に適用し、ヨーロッパの取引データ（2023年と2013年）に基づく古典的なモデル（例: XGBoost, TabNet）よりも優れた性能を示し、データをバランスさせ、さまざまな前処理手順を用いる。

ABSTRACT

With the proliferation of various online and mobile payment systems, credit card fraud has emerged as a significant threat to financial security. This study focuses on innovative applications of the latest Transformer models for more robust and precise fraud detection. To ensure the reliability of the data, we meticulously processed the data sources, balancing the dataset to address the issue of data sparsity significantly. We also selected highly correlated vectors to strengthen the training process.To guarantee the reliability and practicality of the new Transformer model, we conducted performance comparisons with several widely adopted models, including Support Vector Machine (SVM), Random Forest, Neural Network, and Logistic Regression. We rigorously compared these models using metrics such as Precision, Recall, and F1 Score. Through these detailed analyses and comparisons, we present to the readers a highly efficient and powerful anti-fraud mechanism with promising prospects. The results demonstrate that the Transformer model not only excels in traditional applications but also shows great potential in niche areas like fraud detection, offering a substantial advancement in the field.

研究の動機と目的

• 高度に不均衡なクレジットカード不正データの検出という課題に対処する。
• 欧州の取引データセット上で、Transformerベースのモデルを標準的な分類器と比較評価する。
• データ前処理（バランシング、外れ値処理、次元削減）がモデル性能に与える影響を評価する。
• 時期データ（2013年と2023年）を跨いだクロスバリデーションによって一般化性能を示す。

提案手法

• リサンプリングによって不正検知サンプルと非不正検知サンプルを同数にしてデータセットをバランス化する。
• 相関ベクトルを用いた特徴量相関分析を実施し、訓練を強化する。
• IQR法を用いた外れ値検出と除去を適用する。
• 可視化と分析のために三つの次元削減技術（T-SNE、PCA、Truncated SVD）を用いる。
• 自己注意機構と前方伝搬ネットワークを備えた Transformer エンコーダを不正検知に実装する。
• Precision、Recall、F1-score、ROC AUCを用いて、Transformerと Logistic Regression、KNN、SVM、Decision Tree、Neural Network、XGBoost、TabNetを比較する。

実験結果

リサーチクエスチョン

• RQ1 欧州データセットで、Transformerベースのモデルは伝統的な機械学習手法を上回ることができるか。
• RQ2 データセットのバランシングと前処理は高度なモデルの不正検知性能を改善するか。
• RQ3 トランスフォーマーは不正検知タスクにおいて、異なる時期（2013年 vs 2023年）でどれだけ一般化できるか。

主な発見

Classifier	Precision	Recall	F1 Score	ROC AUC
Logistic Regression	0.93	0.93	0.93	0.98
KNN	0.93	0.93	0.93	0.98
SVM	0.91	0.91	0.91	0.99
Decision Tree	0.93	0.93	0.93	0.93
Neural Network	0.92	0.91	0.91	0.96
XGBoost	0.95	0.95	0.95	0.99
TabNet	0.93	0.93	0.93	0.98
Transformer	0.998	0.998	0.998	0.99

• Transformer は 2023 年データで全モデルの中で最高の指標を達成：Precision 0.998、Recall 0.998、F1-score 0.998、ROC AUC 0.99。
• 2023年データでは、XGBoostとTabNetは検討された指標全般でTransformerより劣る。
• 2013年データでは、TransformerはPrecision 0.998、Recall 0.998、F1-score 0.998、ROC AUC 0.98を維持し、TabNet (F1 0.67) を含む他のモデルを上回る。
• 2013年と2023年データ間のクロスバリデーションは、該当分野における Transformer の優れた一般化能力と安定性を確認する。
• クラスをバランスさせるためのサブサンプリングは相関と予測安定性を改善し、過剰適合を抑え、解釈性を高めた。