[论文解读] Uncertainty-Aware Credit Card Fraud Detection Using Deep Learning

Maryam Habibpour, Hassan Gharoun+8 more|arXiv (Cornell University)|Jul 28, 2021

Imbalanced Data Classification Techniques被引用 12

一句话总结

本文提出三种不确定性感知的深度学习方法——蒙特卡洛丢弃（MCD）、深度集成（Deep Ensemble）和集成蒙特卡洛丢弃（EMCD）——用于信用卡欺诈检测，通过量化预测不确定性来提升模型的可靠性。深度集成方法表现最佳，不确定性准确率达到85%，并能为标记低置信度、可能为欺诈的交易提供可操作的洞察。

ABSTRACT

Countless research works of deep neural networks (DNNs) in the task of credit card fraud detection have focused on improving the accuracy of point predictions and mitigating unwanted biases by building different network architectures or learning models. Quantifying uncertainty accompanied by point estimation is essential because it mitigates model unfairness and permits practitioners to develop trustworthy systems which abstain from suboptimal decisions due to low confidence. Explicitly, assessing uncertainties associated with DNNs predictions is critical in real-world card fraud detection settings for characteristic reasons, including (a) fraudsters constantly change their strategies, and accordingly, DNNs encounter observations that are not generated by the same process as the training distribution, (b) owing to the time-consuming process, very few transactions are timely checked by professional experts to update DNNs. Therefore, this study proposes three uncertainty quantification (UQ) techniques named Monte Carlo dropout, ensemble, and ensemble Monte Carlo dropout for card fraud detection applied on transaction data. Moreover, to evaluate the predictive uncertainty estimates, UQ confusion matrix and several performance metrics are utilized. Through experimental results, we show that the ensemble is more effective in capturing uncertainty corresponding to generated predictions. Additionally, we demonstrate that the proposed UQ methods provide extra insight to the point predictions, leading to elevate the fraud prevention process.

研究动机与目标

• 为解决用于信用卡欺诈检测的深度神经网络（DNN）中缺乏预测置信度估计的问题，该问题可能导致过度自信且有害的预测。
• 量化DNN预测中的不确定性，以增强模型可解释性，并支持在现实世界欺诈防范系统中实现可信决策。
• 评估并比较三种不确定性量化（UQ）技术——MCD、集成和EMCD——在检测具有可靠置信度估计的欺诈交易方面的有效性。
• 开发并应用新型评估指标——UAcc、USen、USpe和UPre——专门针对欺诈检测中不确定性估计的评估。
• 通过将不确定性预测标记为可疑，为从业者提供可操作的洞察，特别是在存在分布外交易的动态环境中。

提出的方法

• 本研究通过在测试时应用丢弃（dropout）来实现蒙特卡洛丢弃（MCD），通过多次前向传播估计认知不确定性。
• 通过使用不同随机初始化训练多个独立的DNN，构建深度集成模型，利用模型间预测方差估计不确定性。
• 集成蒙特卡洛丢弃（EMCD）结合MCD与集成平均，在多个模型中推理时应用丢弃，以提升不确定性估计效果。
• 使用UQ混淆矩阵通过熵阈值将预测分类为确定或不确定，以评估不确定性估计。
• 在不同不确定性阈值（0.1–0.9）下计算性能指标，包括不确定性准确率（UAcc）、不确定性敏感度（USen）、特异性（USpe）和精确率（UPre）。
• 使用核密度估计（KDE）图可视化预测概率和熵值的分布，比较不同UQ方法下正确与错误分类预测的差异。

实验结果

研究问题

• RQ1 蒙特卡洛丢弃、深度集成和集成蒙特卡洛丢弃在信用卡欺诈检测中量化不确定性的有效性如何？
• RQ2 不确定性估计是否有助于区分正确与错误预测，特别是在分布外或罕见欺诈案例中？
• RQ3 哪种UQ方法能为现实世界欺诈检测系统提供最可靠且可操作的不确定性估计？
• RQ4 不确定性指标（UAcc、USen、USpe、UPre）如何随不同置信度阈值变化？何种阈值能优化性能？
• RQ5 不确定性感知模型能否通过将低置信度预测标记为专家审查对象，从而提升欺诈防范能力？

主要发现

• 深度集成方法在0.4阈值下达到最高的不确定性准确率（UAcc = 0.85），优于MCD（0.82）和EMCD（0.84）。
• 错误分类的预测始终表现出比正确分类更高的不确定性（熵值），证实了模型在错误输出中能有效表达低置信度。
• 集成方法展现出更优的不确定性敏感度（USen = 0.67），表明其能有效将错误预测标记为不确定。
• 尽管UAcc和USen较高，但UPre仍较低（0.32–0.33），这是由于正确与错误分类样本之间的不平衡，表明仍有大量正确预测被标记为不确定。
• 核密度估计图证实，不确定性预测分布更分散且熵值更高，尤其在错误分类组中，验证了不确定性估计的可靠性。
• UQ混淆矩阵与性能指标表明，不确定性估计提供了超越点预测的有意义且可操作的洞察，有助于制定更优的欺诈防范策略。