[논문 리뷰] Solving the "false positives" problem in fraud prediction

Roy Wedge, James Max Kanter외 3명|arXiv (Cornell University)|2017. 10. 20.

Imbalanced Data Classification Techniques참고 문헌 2인용 수 8

한 줄 요약

이 논문은 역사적 데이터에서 각 거래당 237개의 행동 특징을 생성함으로써 사기 탐지에서 임의의 양성률을 줄이기 위해 딥 푸처 신테시스(DFS)를 사용한 자동 특징 공학 접근법을 제안한다. 이 방법은 190만 건의 미사용 거래에서 190,000 유로의 절감과 함께 임의의 양성률을 54% 감소시켰으며, 특징 갱신 주기가 35일에 한 번 이라도 성능 손실이 최소화된 상태로 유지되었다.

ABSTRACT

In this paper, we present an automated feature engineering based approach to dramatically reduce false positives in fraud prediction. False positives plague the fraud prediction industry. It is estimated that only 1 in 5 declared as fraud are actually fraud and roughly 1 in every 6 customers have had a valid transaction declined in the past year. To address this problem, we use the Deep Feature Synthesis algorithm to automatically derive behavioral features based on the historical data of the card associated with a transaction. We generate 237 features (>100 behavioral patterns) for each transaction, and use a random forest to learn a classifier. We tested our machine learning model on data from a large multinational bank and compared it to their existing solution. On an unseen data of 1.852 million transactions, we were able to reduce the false positives by 54% and provide a savings of 190K euros. We also assess how to deploy this solution, and whether it necessitates streaming computation for real time scoring. We found that our solution can maintain similar benefits even when historical features are computed once every 7 days.

연구 동기 및 목표

• 사기 탐지에서 높은 임의의 양성률 문제를 해결하여, 이로 인한 손해가 사기 자체의 손해를 초월할 정도로 상업적 비용을 줄이기 위해.
• 풍부한 역사적 거래 데이터를 기반으로 기존 산업 방법을 능가하는 투명하고 자동화된 기계학습 솔루션을 개발하기 위해.
• 고도화된 특징 공학을 통해 정밀도를 향상시켜 24시간 모니터링 센터에서 고비용의 인간 분석가에 대한 의존도를 줄이기 위해.
• 실시간 특징 계산이 필수적인지 여부를 평가하고, 매일 또는 매주 갱신하는 것만으로도 높은 성능을 유지를 할 수 있는지 평가하기 위해.
• 실제 다국적 은행에서 대규모로 고정밀도 사기 탐지 모델을 도입했을 때 재무적 및 운영적 영향을 평가하기 위해.

제안 방법

• 각 카드에 대해 역사를 기반으로 한 역사적 거래 데이터에서 자동으로 237개의 특징(100개 이상의 행동 패턴)을 생성하기 위해 딥 푸처 신테시스(DFS)를 활용한다.
• 합계, 평균, 카운트, 표준편차 및 시간 기반 집계(예: 거래 간 평균 시간)와 같은 특징 프리미티브를 사용하여 의미 있는 행동 지표를 유도한다.
• 정확도를 높이고 블랙박스 모델링을 피하기 위해 유도된 특징을 기반으로 랜덤 포레스트 분류기를 훈련시킨다.
• 특징툴즈 라이브러리를 활용해 특징 근사치를 적용하여 특징을 지연시켜 계산함(예: 7일, 21일, 35일)으로써 계산 비용을 절감한다.
• 정밀도와 재현율의 균형을 맞추기 위해 모델의 결정 임계값을 튜닝하며, 고가치 거래에 대해 별도의 튜닝을 수행해 재무적 결과를 향상시킨다.
• 정밀도, F1 점수, 총비용(임의의 양성률에 대한 보상 포함) 등의 지표를 사용해 모델 성능을 평가하고, 다양한 근사 간격을 비교한다.

실험 결과

연구 질문

• RQ1 실시간 특징 계산이 필요 없이 자동 특징 공학을 통해 대규모 사기 탐지에서 임의의 양성률을 크게 감소시킬 수 있는가?
• RQ2 특징 근사치(예: 7일, 21일, 35일 간격으로 갱신)를 적용할 경우 성능 저하 정도가 정밀도와 재현율을 유지하는 데 영향을 미치는가?
• RQ3 고가치 거래가 결정 임계값에 더 중시되는 환경에서, 임의의 양성률 감소의 재무적 영향은 무엇인가? 특히 실제 은행 환경에서의 영향을 평가하기 위해.
• RQ4 풍부한 역사를 기반으로 한 행동 특징을 사용한 모델이 주요 다국적 은행에서 사용 중인 기존 생산 시스템을 능가하는가?
• RQ5 스트리밍 계산 대신 주기적인 특징 갱신(예: 매주)을 통해 시스템을 효과적으로 구현할 수 있는가? 이는 인프라 비용 절감에 기여한다.

주요 결과

• 제안된 모델은 185만 건의 미사용 거래 데이터셋에서 임의의 양성률을 54% 감소시켜 19만 유로의 절감을 이끌어냈다.
• 특징을 35일에 한 번만 갱신하더라도 모델은 정밀도 0.236, F1 점수 0.373를 유지했으며, 매일 갱신한 경우와 비교해 성능 저하가 없었다.
• 고가치 거래를 우선시하는 임계값 튜닝을 통해 모델은 진짜 양성률 ≥0.89일 때 정밀도 0.236를 달성했으며, 더 긴 근사 간격 동안 정밀도에 손실가 없었다.
• 특징 갱신 주기가 35일일 경우 임의의 양성률에 따른 재정 비용은 약 67,000 유로 증가했지만, 이는 모델의 뛰어난 정밀도와 운영 부담 감소로 상쇄되었다.
• 특징 근사치를 활용함으로써 특징 계산 시간이 67% 감소했으며, 이는 정확도를 유지하면서도 더 빠른 반복 및 배포를 가능케 했다.
• 실시간 스트리밍 계산이 고정밀도 사기 탐지에 필수적인 것은 아니며, 주기적인 특징 갱신(예: 매주)만으로도 우수한 성능을 유지할 수 있음을 입증했다.