[논문 리뷰] EnsemFDet: An Ensemble Approach to Fraud Detection based on Bipartite Graph

Yuxiang Ren, Hao Zhu외 3명|arXiv (Cornell University)|2019. 12. 23.

Imbalanced Data Classification Techniques참고 문헌 38인용 수 11

한 줄 요약

EnsemFDet는 이원 그래프를 위한 앙상블 사기 탐지 프레임워크로, 대규모 프로모션 캠페인 사기 탐지를 병렬 서브그래프 샘플링과 투표로 분해함으로써 확장성과 정확도를 향상시킨다. 실제 JD.com의 전자상거래 데이터에서 최신 기술 대비 최대 100배의 속도 향상을 달성하면서도 높은 정밀도와 재현율을 유지한다.

ABSTRACT

Fraud detection is extremely critical for e-commerce business. It is the intent of the companies to detect and prevent fraud as early as possible. Existing fraud detection methods try to identify unexpected dense subgraphs and treat related nodes as suspicious. Spectral relaxation-based methods solve the problem efficiently but hurt the performance due to the relaxed constraints. Besides, many methods cannot be accelerated with parallel computation or control the number of returned suspicious nodes because they provide a set of subgraphs with diverse node sizes. These drawbacks affect the real-world applications of existing methods. In this paper, we propose an Ensemble-based Fraud Detection (EnsemFDet) method to scale up fraud detection in bipartite graphs by decomposing the original problem into subproblems on small-sized subgraphs. By oversampling the graph and solving the subproblems, the ensemble approach further votes suspicious nodes without sacrificing the prediction accuracy. Extensive experiments have been done on real transaction data from JD.com, which is one of the world's largest e-commerce platforms. Experimental results demonstrate the effectiveness, practicability, and scalability of EnsemFDet. More specifically, EnsemFDet is up to 100x faster than the state-of-the-art methods due to its parallelism with all aspects of data.

연구 동기 및 목표

• 라벨이 부족한 데이터로 인해 지도 학습이 비현실적인 대규모 전자상거래 플랫폼에서 프로모션 캠페인 사기를 탐지하는 데 도전하는 것.
• 스펙트럴 및 히وري스틱 사기 탐지 방법의 한계를 극복하는 것 — 특히 낮은 확장성, 약한 병렬 처리 능력, 불안정한 성능 등.
• 진동하는 사기 패턴을 가진 동적이고 일시적인 프로모션 캠페인을 처리할 수 있는 확장성 있고 안정적이며 정확한 사기 탐지 시스템을 설계하는 것.
• 그래프를 더 작은 서브그래프로 분해하고 앙상블 투표를 통해 결과를 집계함으로써 효율적이고 병렬적이며 적응 가능한 사기 탐지 기능을 제공하는 것.

제안 방법

• 이 방법은 사용자-상인 거래 관계를 나타내는 이원 그래프에서 프로모션 캠페인 사기 탐지를 최적화 문제로 공식화한다.
• 원본 그래프를 여러 개의 더 작은 서브그래프로 오버샘플링하여 병렬 처리를 가능하게 하는 앙상블 프레임워크를 활용한다.
• 새로운 히وري스틱 알고리즘인 FDet를 도입하여 각 샘플링된 서브그래프에서 조밀한 서브그래프를 탐지하며, 수동으로 하이퍼파라미터를 조정할 필요 없이 사기 서브그래프의 수를 자동으로 결정한다.
• FDet는 탐지 정확도를 유지하면서도 성능을 향상시키기 위해 효율적인 절단 전략을 사용한다.
• 모든 샘플링된 서브그래프를 통해 투표를 통해 의심스러운 노드를 식별하며, 정밀도와 재현율을 균형 잡기 위해 설정 가능한 임계값 T를 사용한다.
• 성능, 확장성, 계산 비용을 균형 잡기 위해 프레임워크는 동적으로 샘플링 크기(S)와 반복 빈도(N)를 조정한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터에 의존하지 않고 대규모 동적 전자상거래 프로모션 캠페인의 사기 탐지를 어떻게 확장 가능하고 효율적으로 만들 수 있는가?
• RQ2 앙상블 샘플링과 투표 방식이 단일 방법 대비 탐지 정확도와 안정성 향상에 얼마나 기여하는가?
• RQ3 샘플링 크기(S), 반복 빈도(N), 투표 임계값(T)이 사기 탐지 시스템의 성능과 내구성에 어떻게 영향을 미치는가?
• RQ4 제안된 방법이 실제 환경에서 최신 기술 대비 높은 정밀도와 재현율을 유지하면서도 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• EnsemFDet는 매우 병렬 처리가 가능한 설계와 효율적인 서브그래프 샘플링 덕분에 최신 기술 대비 최대 100배의 속도 향상을 달성한다.
• 모든 파라미터 설정에서 높은 정밀도와 재현율을 유지하며, 원본 그래프의 1%로 샘플링 크기를 줄여도 안정적인 성능을 보인다.
• FDet 알고리즘은 사기 서브그래프의 수를 수동으로 조정할 필요 없이 성공적으로 탐지하여 사용성 향상과 하이퍼파라미터 의존도 감소에 기여한다.
• 임계값 T를 사용한 투표 메커니즘은 정밀도와 재현율 간의 부드러운 트레이드오���을 가능하게 하여 응용 분야에 맞게 시스템을 조정할 수 있도록 한다.
• EnsemFDet는 N과 S의 다양한 값에서도 강건하고 안정적인 성능을 보이며, 코어 수가 다양한 컴퓨팅 환경에 쉽게 적응할 수 있다.
• 이 방법은 JD.com의 리스크 제어 시스템에 성공적으로 도입되어 실용성과 실제 환경에서의 효과성을 입증했다.