[논문 리뷰] Credit Card Fraud Detection in e-Commerce: An Outlier Detection Approach

Utkarsh Porwal, Smruthi Mukund|arXiv (Cornell University)|2018. 11. 06.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 13

한 줄 요약

이 논문은 여러 번의 k-means 실행을 통해 각 데이터 포인트에 일致성 점수를 할당하는 앙상블 클러스터링 기반 이상 탐지 방법을 제안한다. 이는 정상적인 행동이 시간이 지남에 따라 공간적으로 일관되게 유지된다는 가정에 기반한다. 제안된 방법은 실제 세계 데이터셋과 UCI 데이터셋에서 기준 방법들을 능가하며, 사기 탐지에서 클래스 불균형이 존재함에 따라 AUPRC가 AUROC보다 더 우수한 평가 지표임을 입증한다.

ABSTRACT

Often the challenge associated with tasks like fraud and spam detection is the lack of all likely patterns needed to train suitable supervised learning models. This problem accentuates when the fraudulent patterns are not only scarce, they also change over time. Change in fraudulent pattern is because fraudsters continue to innovate novel ways to circumvent measures put in place to prevent fraud. Limited data and continuously changing patterns makes learning significantly difficult. We hypothesize that good behavior does not change with time and data points representing good behavior have consistent spatial signature under different groupings. Based on this hypothesis we are proposing an approach that detects outliers in large data sets by assigning a consistency score to each data point using an ensemble of clustering methods. Our main contribution is proposing a novel method that can detect outliers in large datasets and is robust to changing patterns. We also argue that area under the ROC curve, although a commonly used metric to evaluate outlier detection methods is not the right metric. Since outlier detection problems have a skewed distribution of classes, precision-recall curves are better suited because precision compares false positives to true positives (outliers) rather than true negatives (inliers) and therefore is not affected by the problem of class imbalance. We show empirically that area under the precision-recall curve is a better than ROC as an evaluation metric. The proposed approach is tested on the modified version of the Landsat satellite dataset, the modified version of the ann-thyroid dataset and a large real world credit card fraud detection dataset available through Kaggle where we show significant improvement over the baseline methods.

연구 동기 및 목표

• 라벨이 제한적이고 클래스 불균형이 심한 상황에서 변화하는 신용카드 사기 패턴을 탐지하는 데 도전하는 것.
• 이상치나 정상 데이터에 대한 사전 지식이 필요 없는 강건하고 확장 가능한 이상 탐지 방법을 개발하는 것.
• 여러 클러스터링 실행에 걸쳐 공간 클러스터링 패턴의 일관성이 정상(정상) 행동을 식별하는 데 기여할 수 있음을 보여주는 것.
• 불균형 데이터에서 이상 탐지 작업에 대해 정밀도-재현율 곡선과 AUPRC가 ROC/AUROC보다 더 적절한 평가 지표임을 주장하는 것.
• 실제 세계 및 기준 데이터셋에서 방법을 검증하여 기준 방법들에 비해 뚜렷한 성능 향상을 보이는 것.

제안 방법

• 다양한 k값을 사용한 k-means 클러스터링의 앙상블을 활용하여 각 데이터 포인트에 대해 다수의 클러스터 할당을 생성한다.
• 각 데이터 포인트는 각 클러스터링 실행에서의 중심점까지의 거리의 가중 평균을 기반으로 일치성 점수를 할당받으며, 이때 가중치는 클러스터 크기에 비례한다.
• 일치성 점수는 데이터 포인트가 다양한 클러스터링 그룹화에서 얼마나 안정적인 위치를 유지하는지를 반영하며, 낮은 점수는 잠재적 이상치를 나타낸다.
• 이 방법은 k-means를 초월한 다른 클러스터링 알고리즘에도 적용 가능하며, 각 포인트가 특성 공간 내 벡터로 표현되는 클러스터에 할당되는 한 일반적으로 적용 가능하다.
• 이 방법은 확장성과 분산 처리가 가능하도록 설계되어 대규모 e-커머스 사기 탐지 시스템에 적합하다.
• 논문은 평가 시 AUPRC(정밀도-재현율 곡선 아래 면적)를 AUROC보다 우선시할 것을 주장하며, 이는 불균형 데이터에서의 성능를 더 잘 반영한다고 주장한다.

실험 결과

연구 질문

• RQ1 고차원적이고 시간에 따라 변화하는 데이터에서, 여러 실행에 걸친 일관된 공간 클러스터링 패턴이 정상(정상) 행동을 신뢰성 있게 식별할 수 있는가?
• RQ2 제안된 앙상블 클러스터링 기반 일치성 점수 방법이 실제 세계 및 기준 데이터셋에서 기존의 이상 탐지 기준 방법과 비교해 어떻게 성능을 내는가?
• RQ3 불균형 사기 탐지 시나리오에서 AUPRC가 AUROC보다 더 적절한 평가 지표인가?
• RQ4 실제 사기 조사 워크플로우에서 높은 재현율을 유지하면서도 거짓 경고를 얼마나 줄일 수 있는가?
• RQ5 이 방법을 통해 고신뢰도의 정상 데이터 포인트를 효과적으로 분리하여 일종의 새로운 이상 탐지 모델을 위한 깔끔한 학습 세트를 만들 수 있는가?

주요 결과

• Kaggle 신용카드 사기 데이터셋에서, 임계값 0.5를 사용할 경우 정밀도 0.1에서 재현율 0.4를 달성하여 총 284,807개 중 2,000개의 고우선순위 샘플만 검토해도 사기 사례의 40%를 탐지할 수 있었다.
• 일치성 임계값 0.5를 사용할 경우, 진정한 음성(정상 거래) 139,220건을 식별했으며, 거짓 양성은 오직 29건에 불과하여 정상 데이터 포인트 식별에서 높은 정밀도를 보였다.
• 수정된 Landsat 및 ann-thyroid 데이터셋, 그리고 실제 세계의 신용카드 사기 데이터셋에서 제안된 방법은 기준 방법들을 뚜렷이 능가했다.
• 연구는 AUPRC가 AUROC보다 이상 탐지에 더 적합한 평가 지표임을 경험적으로 입증하였으며, 특히 고정밀도 사용 사례에서 클래스 불균형에 민감하지 않다는 점에서 유리하다고 밝혔다.
• 이 방법은 고일치성 데이터 포인트를 효과적으로 분리하여 대부분이 진정한 음성임을 확인하였으며, 이는 새로운 이상 탐지 시스템을 위한 깔끔한 학습 세트 구축에 기여했다.
• 이 방법은 확장성과 일반화 능력이 뛰어나져 분산 방식으로도 구현 가능하며, k-means를 초월한 다양한 클러스터링 알고리즘에 적용 가능하다.