[论文解读] Challenges and Complexities in Machine Learning based Credit Card Fraud Detection

Gayan K. Kulatilleke|arXiv (Cornell University)|Aug 20, 2022

Imbalanced Data Classification Techniques被引用 7

一句话总结

本文研究了基于机器学习的信用卡欺诈检测所面临的挑战，重点关注数据不平衡、隐私保护技术（如主成分分析PCA）的影响，以及人工标注错误的后果。研究结果表明，PCA混淆技术在数据不平衡的数据集中能有效保持分类器性能，但随着类别不平衡程度的增加，模型准确率显著下降，凸显了需要采用量身定制、数据驱动的方法，而非‘一刀切’的解决方案。

ABSTRACT

Credit cards play an exploding role in modern economies. Its popularity and ubiquity have created a fertile ground for fraud, assisted by the cross boarder reach and instantaneous confirmation. While transactions are growing, the fraud percentages are also on the rise as well as the true cost of a dollar fraud. Volume of transactions, uniqueness of frauds and ingenuity of the fraudster are main challenges in detecting frauds. The advent of machine learning, artificial intelligence and big data has opened up new tools in the fight against frauds. Given past transactions, a machine learning algorithm has the ability to 'learn' infinitely complex characteristics in order to identify frauds in real-time, surpassing the best human investigators. However, the developments in fraud detection algorithms has been challenging and slow due the massively unbalanced nature of fraud data, absence of benchmarks and standard evaluation metrics to identify better performing classifiers, lack of sharing and disclosure of research findings and the difficulties in getting access to confidential transaction data for research. This work investigates the properties of typical massively imbalanced fraud data sets, their availability, suitability for research use while exploring the widely varying nature of fraud distributions. Furthermore, we show how human annotation errors compound with machine classification errors. We also carry out experiments to determine the effect of PCA obfuscation (as a means of disseminating sensitive transaction data for research and machine learning) on algorithmic performance of classifiers and show that while PCA does not significantly degrade performance, care should be taken to use the appropriate principle component size (dimensions) to avoid overfitting.

研究动机与目标

• 分析大规模不平衡信用卡欺诈数据集的特性与挑战。
• 评估基于PCA的数据混淆对机器学习分类器性能的影响。
• 研究人工标注错误如何与机器学习分类错误相互作用并加剧。
• 评估现有欺诈检测数据集的局限性，以及缺乏标准化评估基准的问题。

提出的方法

• 本研究使用一个二级信用卡交易数据集，分别设置2%和22%的欺诈率，以模拟现实世界中的数据不平衡情况。
• 采用主成分分析（PCA）对敏感交易数据进行混淆处理，同时保留数据的潜在模式以供研究使用。
• 在原始数据和PCA编码数据上，对十五种机器学习分类器（如逻辑回归、随机森林、支持向量机）进行训练与评估。
• 通过F1分数和几何平均值（g-mean）衡量性能，并分析维度变化对分类器准确率的影响。
• 研究F1分数与g-mean值之间的相关性，以评估二者作为评估指标的独立性。
• 评估模型性能在数据不平衡程度不断提高时的退化情况，尤其关注欺诈率低于2%的情形。

实验结果

研究问题

• RQ1 PCA混淆对在不平衡数据集上检测信用卡欺诈的机器学习分类器性能有何影响？
• RQ2 数据不平衡（尤其是欺诈率低于2%）在多大程度上影响欺诈检测模型的学习能力？
• RQ3 人工标注错误如何与机器学习分类错误相互作用并放大？
• RQ4 尽管信用卡支付在全球范围内普遍使用，为何仍缺乏标准化的信用卡欺诈检测数据基准或语料库？
• RQ5 PCA能否作为一种可行方法，在不显著降低模型性能的前提下共享敏感交易数据？

主要发现

• PCA混淆对大多数二分类器在不平衡欺诈数据集上的性能影响不大，能有效保留关键信息内容。
• 在多种分类器中，原始数据与PCA编码数据的F1分数和g-mean值保持高度一致，表明信息保留效果良好。
• 维持性能的最优主成分数量约为15个维度，超过此点后性能开始下降，原因可能是过拟合。
• 随着数据不平衡程度加剧，尤其是欺诈率低于2%时，学习性能显著下降，表明极端偏态是主要挑战。
• F1分数与g-mean值之间相关性较弱，表明二者作为评估指标具有独立性，应联合考虑。
• 人工标注错误与机器学习错误相互叠加，进一步降低检测准确率，尤其在低欺诈率环境下更为明显。