[论文解读] Credit Card Fraud Detection in e-Commerce: An Outlier Detection Approach

Utkarsh Porwal, Smruthi Mukund|arXiv (Cornell University)|Nov 6, 2018

Anomaly Detection Techniques and Applications参考文献 20被引用 13

一句话总结

本文提出了一种基于集成聚类的异常检测方法，通过多次k-means运行为每个数据点分配一致性评分，利用合法行为在时间上保持空间一致性的假设。该方法在真实世界数据集和UCI数据集上均优于基线方法，且研究表明在欺诈检测中由于类别不平衡，AUPRC相较于AUROC是更优的评估指标。

ABSTRACT

Often the challenge associated with tasks like fraud and spam detection is the lack of all likely patterns needed to train suitable supervised learning models. This problem accentuates when the fraudulent patterns are not only scarce, they also change over time. Change in fraudulent pattern is because fraudsters continue to innovate novel ways to circumvent measures put in place to prevent fraud. Limited data and continuously changing patterns makes learning significantly difficult. We hypothesize that good behavior does not change with time and data points representing good behavior have consistent spatial signature under different groupings. Based on this hypothesis we are proposing an approach that detects outliers in large data sets by assigning a consistency score to each data point using an ensemble of clustering methods. Our main contribution is proposing a novel method that can detect outliers in large datasets and is robust to changing patterns. We also argue that area under the ROC curve, although a commonly used metric to evaluate outlier detection methods is not the right metric. Since outlier detection problems have a skewed distribution of classes, precision-recall curves are better suited because precision compares false positives to true positives (outliers) rather than true negatives (inliers) and therefore is not affected by the problem of class imbalance. We show empirically that area under the precision-recall curve is a better than ROC as an evaluation metric. The proposed approach is tested on the modified version of the Landsat satellite dataset, the modified version of the ann-thyroid dataset and a large real world credit card fraud detection dataset available through Kaggle where we show significant improvement over the baseline methods.

研究动机与目标

• 解决在标注数据有限且类别严重不平衡的情况下，检测不断演变的信用卡欺诈模式的挑战。
• 开发一种无需事先了解异常点或正常点知识的鲁棒且可扩展的异常检测方法。
• 证明在多次聚类运行中空间聚类模式的一致性可识别出合法（正常）行为。
• 论证在类别不平衡的异常检测任务中，精确率-召回率曲线和AUPRC比ROC/AUROC更合适。
• 在真实世界和基准数据集上验证该方法，显示其显著优于基线方法。

提出的方法

• 该方法使用不同k值的k-means聚类集成，为每个数据点生成多个聚类分配结果。
• 每个数据点根据其到各次聚类运行中质心距离的加权平均值获得一致性评分，权重与聚类大小成正比。
• 一致性评分反映了数据点在不同聚类分组中位置的稳定性，低分值表示潜在异常点。
• 该方法具有通用性，只要每个点被分配到一个以特征空间向量表示的聚类中，即可推广至其他聚类算法。
• 该方法设计为可扩展且可分布实现，适用于大规模电商欺诈检测系统。
• 本文主张使用AUPRC（精确率-召回率曲线下面积）而非AUROC进行评估，认为其更能反映在类别不平衡数据上的性能表现。

实验结果

研究问题

• RQ1 在高维、随时间演化的数据中，多次运行中一致的空间聚类模式是否能可靠识别出合法（正常）行为？
• RQ2 所提出的基于集成聚类的一致性评分方法在真实世界和基准数据集上与传统异常检测基线方法相比表现如何？
• RQ3 在类别不平衡的欺诈检测场景中，AUPRC是否比AUROC更适合作为异常检测的评估指标？
• RQ4 该方法在实际欺诈调查工作流中，能在多大程度上减少误报同时保持高召回率？
• RQ5 该方法能否有效隔离出高置信度的正常点，以构建用于单类新颖性检测模型的干净训练集？

主要发现

• 在Kaggle信用卡欺诈数据集上，当使用0.5的阈值时，该方法在精确率为0.1的情况下实现了0.4的召回率，仅需检查2,000个高优先级样本（占总样本284,807个的极小比例），即可检测到40%的欺诈案例。
• 当一致性阈值为0.5时，该方法识别出139,220个真正例（合法交易），仅有29个假正例，表明其在识别正常点方面具有极高精确率。
• 该方法在修改后的Landsat数据集和ann-thyroid数据集上，以及在真实世界信用卡欺诈数据集上，均显著优于基线方法。
• 研究通过实证证明，由于AUPRC对类别不平衡不敏感，尤其在高精确率应用场景中，其作为异常检测的评估指标优于AUROC。
• 该方法成功隔离出高一致性数据点，其中绝大多数为真正例，从而可为新颖性检测系统构建干净的训练集。
• 该方法具备可扩展性和通用性，因其可分布式实现，并可适配至k-means以外的多种聚类算法。