[논문 리뷰] Evaluating resampling methods on a real-life highly imbalanced online credit card payments dataset

François de la Bourdonnaye, Fabrice Daniel|arXiv (Cornell University)|2022. 06. 27.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 연구는 기울기 부스팅 모델(XGBoost, LightGBM, CatBoost)을 사용하여 대규모 실생활 온라인 신용카드 사기 데이터셋에서 최신의 리샘플링 기법들을 평가한다. 정밀도와 PR AUC가 심각하게 악화되면서도 재표본화 기법들이 재현율을 크게 향상시키지만, 이는 극도로 불균형한 데이터셋에 대해 효과적이지 않음을 시사하며, 기울기 부스팅 자체가 모든 리샘플링 전략보다 우수하다.

ABSTRACT

Various problems of any credit card fraud detection based on machine learning come from the imbalanced aspect of transaction datasets. Indeed, the number of frauds compared to the number of regular transactions is tiny and has been shown to damage learning performances, e.g., at worst, the algorithm can learn to classify all the transactions as regular. Resampling methods and cost-sensitive approaches are known to be good candidates to leverage this issue of imbalanced datasets. This paper evaluates numerous state-of-the-art resampling methods on a large real-life online credit card payments dataset. We show they are inefficient because methods are intractable or because metrics do not exhibit substantial improvements. Our work contributes to this domain in (1) that we compare many state-of-the-art resampling methods on a large-scale dataset and in (2) that we use a real-life online credit card payments dataset.

연구 동기 및 목표

• 극도로 불균형한 대규모 실생활 온라인 신용카드 결제 데이터셋에서 최신 리샘플링 기법의 효과성을 평가하기 위해.
• 리샘플링이 정밀도, 재현율, F1, PR AUC와 같은 핵심 사기 탐지 지표를 향상시키는지 확인하기 위해.
• 최대 1,000만 건의 샘플을 포함하는 데이터셋에서 계산 자원 제약 조건을 감안해 실현 가능한 리샘플링 기법을 특정하기 위해.
• 여러 기울기 부스팅 모델(XGBoost, LightGBM, CatBoost)이 리샘플링 여부에 따라 어떻게 성능을 내는지 비교하기 위해.
• 실세계 사기 탐지 환경에서 리샘플링의 한계에 대한 경험적 증거를 제공하기 위해.

제안 방법

• 연구는 7종의 최신 리샘플링 기법을 적용한다: 랜덤 오버샘플링, 랜덤 언더샘플링, SMOTE, 보더라인 SMOTE, ADASYN, 근접 이웃 기반(NEar-NEst-Neighbor, NearMiss), 인스턴스 경도 임계치(IHT).
• 리샘플링은 사기 거래가 전체 거래의 극히 소수에 불과한 극도로 불균형한 실생활 온라인 신용카드 결제 데이터셋에 적용된다.
• 리샘플링된 데이터셋과 원본 데이터셋을 바탕으로 XGBoost, LightGBM, CatBoost의 세 가지 기울기 부스팅 모델을 훈련시켜 성능 차이를 평가한다.
• 성능 평가는 정밀도, 재현율, F1 점수, PR AUC를 사용하며, 결과는 기준선(리샘플링 없음) 대비 백분율 변화로 보고된다.
• 계산의 실현 가능성은 고성능 클러스터(80개 하이퍼스레드 코어, 1TB RAM)에서 실제 리샘플링 시간을 측정하여 평가된다.
• 분석은 재현율 향상과 정밀도 저하 사이의 트레이드오프에 중점을 두며, 특히 소수 클래스 탐지 향상 여부가 거짓 양성 증가로 인해 상쇄되는지 평가한다.

실험 결과

연구 질문

• RQ1 최신 리샘플링 기법들이 실생활 대규모 극도로 불균형한 온라인 신용카드 사기 데이터셋에서 사기 탐지 성능을 크게 향상시키는가?
• RQ2 최대 1,000만 건의 샘플을 포함하는 데이터셋에서 계산적으로 실현 가능한 리샘플링 기법은 무엇인가?
• RQ3 실세계 사기 탐지에서 리샘플링 기법이 정밀도와 PR AUC를 얼마나 희생하면서까지 재현율을 향상시키는가?
• RQ4 여러 기울기 부스팅 모델(XGBoost, LightGBM, CatBoost)이 이 데이터셋에서 리샘플링 여부에 따라 어떻게 성능을 내는가?
• RQ5 전반적으로 리샘플링 기법은 효과적인가, 아니면 재현율 증가에도 불구하고 핵심 지표가 악화되는가?

주요 결과

• 인스턴스 경도 임계치(IHT), 랜덤 언더샘플링, 보더라인 SMOTE는 재현율을 최대 841% 향상시키고 F1 점수를 최대 96% 향상시켰지만, PR AUC는 31–68% 감소하고 정밀도는 77–99% 감소시켰다.
• SMOTE와 ADASYN은 PR AUC를 59–67% 감소시키고 정밀도는 91–93% 감소시켰지만, 재현율은 527–836% 증가시켜 심각한 트레이드오프를 보였다.
• NearMiss는 최대 재현율 증가(1657%)를 기록했지만, PR AUC는 97% 감소하고 정밀도는 99% 감소시켜 실용적 사용에 부적합했다.
• 모든 리샘플링 기법이 PR AUC와 정밀도를 심각하게 악화시켰으며, 모든 지표에서의 순수한 개선이 두드러지지 않았다.
• 결과적으로 리샘플링은 이 데이터셋에 대해 효과적이지 않으며, 기울기 부스팅 자체가 모든 리샘플링 전략보다 더 우수한 성능을 보였다.
• 연구는 기울기 부스팅 모델이 리샘플링보다 클래스 불균형을 더 잘 다룬다고 결론내리며, 특히 어려운 예제에 집중하는 특성 덕분임을 강조한다.