[논문 리뷰] Challenges and Complexities in Machine Learning based Credit Card Fraud Detection

Gayan K. Kulatilleke|arXiv (Cornell University)|2022. 08. 20.

Imbalanced Data Classification Techniques인용 수 7

한 줄 요약

이 논문은 기계학습 기반 신용카드 사기 탐지의 과제를 조사하며, 데이터 불균형, 개인정보 보호 기법인 주성분 분석(PCA), 인간의 애너테이션 오류의 영향을 중심으로 다룬다. 연구 결과, PCA를 통한 데이터 은폐가 불균형 데이터셋에서 분류기 성능을 유지함을 입증하였지만, 클래스 불균형이 심화될수록 모델 정확도가 크게 떨어지며, 일률적인 해결책이 아닌 데이터 기반의 맞춤형 접근이 필요함을 시사한다.

ABSTRACT

Credit cards play an exploding role in modern economies. Its popularity and ubiquity have created a fertile ground for fraud, assisted by the cross boarder reach and instantaneous confirmation. While transactions are growing, the fraud percentages are also on the rise as well as the true cost of a dollar fraud. Volume of transactions, uniqueness of frauds and ingenuity of the fraudster are main challenges in detecting frauds. The advent of machine learning, artificial intelligence and big data has opened up new tools in the fight against frauds. Given past transactions, a machine learning algorithm has the ability to 'learn' infinitely complex characteristics in order to identify frauds in real-time, surpassing the best human investigators. However, the developments in fraud detection algorithms has been challenging and slow due the massively unbalanced nature of fraud data, absence of benchmarks and standard evaluation metrics to identify better performing classifiers, lack of sharing and disclosure of research findings and the difficulties in getting access to confidential transaction data for research. This work investigates the properties of typical massively imbalanced fraud data sets, their availability, suitability for research use while exploring the widely varying nature of fraud distributions. Furthermore, we show how human annotation errors compound with machine classification errors. We also carry out experiments to determine the effect of PCA obfuscation (as a means of disseminating sensitive transaction data for research and machine learning) on algorithmic performance of classifiers and show that while PCA does not significantly degrade performance, care should be taken to use the appropriate principle component size (dimensions) to avoid overfitting.

연구 동기 및 목표

• 대규모로 불균형된 신용카드 사기 데이터셋의 특성과 과제를 분석하기 위해.
• PCA 기반 데이터 은폐가 기계학습 분류기 성능에 미치는 영향을 평가하기 위해.
• 인간의 애너테이션 오류가 기계학습 분류 오류와 어떻게 상호작용하고 악화되는지 조사하기 위해.
• 기존 사기 탐지 데이터셋의 한계와 표준화된 평가 기준이 없는 이유를 평가하기 위해.

제안 방법

• 실제 세계의 불균형을 반영하기 위해 2% 및 22%의 사기 비율을 가진 보조 신용카드 거래 데이터셋을 사용한다.
• 연구 목적을 위해 기초 패턴을 유지하면서도 민감한 거래 데이터를 은폐하기 위해 주성분 분석(PCA)을 적용한다.
• 로지스틱 회귀, 랜덤 포레스트, 서포트 벡터 머신 등 15종의 기계학습 분류기를 원본 데이터 및 PCA 인코딩된 데이터에서 학습하고 평가한다.
• 성능은 F1 점수와 기하 평균(g-mean)을 사용해 측정하며, 분류기 정확도에 대한 차원 수의 영향을 분석한다.
• F1 점수와 g-mean 값 간의 상관관계를 분석하여 이들이 평가 지표로서 독립적인지 확인한다.
• 특히 2% 이하의 사기 비율에서 증가하는 데이터 불균형에 따른 모델 성능 저하를 평가한다.

실험 결과

연구 질문

• RQ1 PCA 은폐가 불균형 데이터셋에서 기계학습 분류기의 신용카드 사기 탐지 성능에 어떤 영향을 미치는가?
• RQ2 특히 2% 이하의 사기 비율일 경우 데이터 불균형이 사기 탐지 모델의 학습 능력에 어느 정도 영향을 미치는가?
• RQ3 인간의 애너테이션 오류는 기계학습 분류 오류와 어떻게 상호작용하고 악화되는가?
• RQ4 글로벌적으로 신용카드 결제가 널리 보급된 바에도 불구하고, 왜 신용카드 사기 탐지 데이터에 표준화된 벤치마크나 코퍼스가 없는가?
• RQ5 PCA를 사용해 민감한 거래 데이터를 공유할 수 있는가? 이 경우 모델 성능이 크게 떨어지지 않는가?

주요 결과

• 대부분의 이진 분류기에서 PCA 은폐가 불균형 사기 데이터셋에서 성능을 크게 떨어뜨리지 않으며, 핵심 정보 내용을 유지한다.
• 여러 분류기에서 원본 데이터와 PCA 인코딩된 데이터 간의 F1 점수와 g-mean 값이 거의 일치함을 확인하여 정보 유지가 효과적임을 시사한다.
• 성능을 유지하기 위한 최적의 주성분 수는 약 15차원이며, 이 이상이 되면 과적합으로 인해 성능 저하가 관찰된다.
• 데이터 불균형이 심화될수록 학습 성능이 떨어지며, 특히 2% 이하의 사기 비율에서 심각한 저하가 발생함을 확인하여 극도로 불균형한 분포가 주요 과제임을 입증한다.
• F1 점수와 g-mean 값 간의 상관관계가 미미하여 이들이 독립적인 평가 지표로 기능하며, 함께 고려되어야 함을 시사한다.
• 인간의 애너테이션 오류가 기계학습 오류와 복합적으로 작용하여 탐지 정확도를 더욱 떨어뜨리며, 특히 저사기 비율 환경에서 더욱 심각한 영향을 미친다.