[논문 리뷰] Uncertainty-Aware Credit Card Fraud Detection Using Deep Learning

Maryam Habibpour, Hassan Gharoun외 8명|arXiv (Cornell University)|2021. 07. 28.

Imbalanced Data Classification Techniques인용 수 12

한 줄 요약

이 논문은 예측 불확실성을 정량화하여 모델 신뢰도를 향상시키기 위해 신용카드 사기 탐지에 대해 몬테카를로 드롭아웃(MCD), 딥 엔semble, 엔셈블 몬테카를로 드롭아웃(EMCD)의 세 가지 불확실성 인식 딥 러닝 방법을 제안한다. 딥 엔셈블 방법이 가장 뛰어나 85%의 불확실성 정확도를 기록했으며, 낮은 신뢰도를 가진 잠재적인 사기 거래를 경고하는 실질적인 통찰을 제공한다.

ABSTRACT

Countless research works of deep neural networks (DNNs) in the task of credit card fraud detection have focused on improving the accuracy of point predictions and mitigating unwanted biases by building different network architectures or learning models. Quantifying uncertainty accompanied by point estimation is essential because it mitigates model unfairness and permits practitioners to develop trustworthy systems which abstain from suboptimal decisions due to low confidence. Explicitly, assessing uncertainties associated with DNNs predictions is critical in real-world card fraud detection settings for characteristic reasons, including (a) fraudsters constantly change their strategies, and accordingly, DNNs encounter observations that are not generated by the same process as the training distribution, (b) owing to the time-consuming process, very few transactions are timely checked by professional experts to update DNNs. Therefore, this study proposes three uncertainty quantification (UQ) techniques named Monte Carlo dropout, ensemble, and ensemble Monte Carlo dropout for card fraud detection applied on transaction data. Moreover, to evaluate the predictive uncertainty estimates, UQ confusion matrix and several performance metrics are utilized. Through experimental results, we show that the ensemble is more effective in capturing uncertainty corresponding to generated predictions. Additionally, we demonstrate that the proposed UQ methods provide extra insight to the point predictions, leading to elevate the fraud prevention process.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN)가 신용카드 사기 탐지에 사용될 때 예측 신뢰도 추정의 부족으로 과신된 예측이 발생할 수 있기 때문에 이를 해결하기 위해.
• DNN 예측의 불확실성을 정량화하여 모델의 해석 가능성 향상과 실세계 사기 방지 시스템에서의 신뢰할 수 있는 의사결정 지원을 위해.
• MCD, 엔셈블, EMCD의 세 가지 불확실성 정량화(UQ) 기법의 효과성을 평가하고 비교하기 위해, 사기 거래 탐지에 신뢰할 수 있는 신뢰도 추정을 제공하기 위해.
• 불확실성 추정을 평가하기 위해 특화된 새로운 평가 지표인 UAcc, USen, USpe, UPre를 개발하고 적용하기 위해.
• 특히 분포 외의 거래가 발생하는 동적 환경에서, 낮은 신뢰도 예측을 경고로 표시하여 실무자에게 실질적인 통찰을 제공하기 위해.

제안 방법

• 연구는 테스트 시점에 드롭아웃을 적용하여 에피스테믹 불확실성을 다중 전방전파를 통해 추정하는 몬테카를로 드롭아웃(MCD)을 구현한다.
• 다양한 무작위 초기화를 가진 다수의 독립적인 DNN을 훈련시켜 예측 분산을 통해 불확실성을 추정하는 딥 엔셈블 모델을 구축한다.
• 엔셈블 몬테카를로 드롭아웃(EMCD)은 MCD와 엔셈블 평균화를 결합하여, 다수의 모델에서 추론 중에 드롭아웃을 적용함으로써 불확실성 추정을 향상시킨다.
• 불확실성 추정을 평가하기 위해 엔트로피 임계값을 기반으로 예측를 확실 또는 불확실로 분류하는 UQ 혼동 행렬을 사용한다.
• 다양한 불확실성 임계값(0.1–0.9)에서 불확실성 정확도(UAcc), 불확실성 민감도(USen), 특이도(USpe), 정밀도(UPre) 등의 성능 지표를 계산한다.
• 커널 밀도 추정(KDE) 플롯을 사용하여 예측 확률과 엔트로피 값의 분포를 시각화하고, UQ 기법 간에 정확한 예측과 잘못된 예측 간의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 몬테카를로 드롭아웃, 딥 엔셈블, 엔셈블 몬테카를로 드롭아웃은 신용카드 사기 탐지에서 불확실성을 얼마나 효과적으로 정량화할 수 있는가?
• RQ2 불확실성 추정은 분포 외 또는 희귀 사기 사례에서 정확한 예측과 잘못된 예측를 구분하는 데 도움이 될 수 있는가?
• RQ3 실세계 사기 탐지 시스템에 가장 신뢰도 있고 실질적인 불확실성 추정을 제공하는 UQ 방법은 무엇인가?
• RQ4 불확실성 기반 지표(UAcc, USen, USpe, UPre)는 다양한 신뢰도 임계값에서 어떻게 변화하며, 어떤 임계값이 성능을 최적화하는가?
• RQ5 불확실성 인식 모델은 낮은 신뢰도 예측을 전문가 검토를 위해 경고함으로써 사기 방지 성능을 향상시킬 수 있는가?

주요 결과

• 딥 엔셈블 방법이 가장 높은 불확실성 정확도(UAcc = 0.85)를 기록했으며, MCD(0.82)와 EMCD(0.84)를 모두 상회했다(임계값 0.4 기준).
• 잘못된 예측는 항상 정확한 예측보다 더 높은 불확실성(엔트로피)을 보였으며, 이는 모델이 잘못된 출력에 대해 낮은 신뢰도를 표현할 수 있음을 확인한다.
• 엔셈블 방법은 뛰어난 불확실성 민감도(USen = 0.67)를 보이며, 잘못된 예측를 효과적으로 불확실한 것으로 식별함을 시사한다.
• 높은 UAcc와 USen에도 불구하고, 정확한 예측와 잘못된 예측의 불균형으로 인해 UPre는 낮게 유지되었다(0.32–0.33), 이는 여전히 많은 정확한 예측가 낮은 신뢰도를 갖는다는 것을 시사한다.
• 커널 밀도 추정 플롯은 불확실한 예측가 더 산재해 있고 엔트로피가 더 높으며, 특히 잘못된 예측 그룹에서 두드러지게 나타나, 불확실성 추정의 신뢰성을 검증한다.
• UQ 혼동 행렬과 성능 지표는 점 추정을 넘어서 의미 있는 실질적 통찰을 제공하며, 더 나은 사기 방지 전략 수립에 기여함을 보여준다.