[논문 리뷰] I call BS: Fraud Detection in Crowdfunding Campaigns

Beatrice Perez, Sara Machado외 2명|arXiv (Cornell University)|2020. 06. 30.

FinTech, Crowdfunding, Digital Finance인용 수 4

한 줄 요약

이 논문은 기부 기반 크라우드소싱 캠페인의 사기성 여부를 발표 시점에 텍스트 및 시각적 특징만을 사용하여 탐지하는 기계학습 프레임워크를 제안한다. 수작업으로 레이블링된 700건의 건강 관련 캠페인 데이터셋을 기반으로 앙상블 분류기를 훈련시킨 결과, AUC 96.01%, 정밀도 91.14%를 기록하여 브라우저나 플랫폼 모더레이션 시스템에서 실시간 사기 탐지가 가능해졌다.

ABSTRACT

Donations to charity-based crowdfunding environments have been on the rise in the last few years. Unsurprisingly, deception and fraud in such platforms have also increased, but have not been thoroughly studied to understand what characteristics can expose such behavior and allow its automatic detection and blocking. Indeed, crowdfunding platforms are the only ones typically performing oversight for the campaigns launched in each service. However, they are not properly incentivized to combat fraud among users and the campaigns they launch: on the one hand, a platform's revenue is directly proportional to the number of transactions performed (since the platform charges a fixed amount per donation); on the other hand, if a platform is transparent with respect to how much fraud it has, it may discourage potential donors from participating. In this paper, we take the first step in studying fraud in crowdfunding campaigns. We analyze data collected from different crowdfunding platforms, and annotate 700 campaigns as fraud or not. We compute various textual and image-based features and study their distributions and how they associate with campaign fraud. Using these attributes, we build machine learning classifiers, and show that it is possible to automatically classify such fraudulent behavior with up to 90.14% accuracy and 96.01% AUC, only using features available from the campaign's description at the moment of publication (i.e., with no user or money activity), making our method applicable for real-time operation on a user browser.

연구 동기 및 목표

• 기부 기반 크라우드소싱 캠페인의 건강 관련 요청에서 사기성 캠페인의 특징을 규명하는 것.
• GoFundMe 및 Indiegogo와 같은 주요 플랫폼에서 700건의 캠페인(사기 여부 포함)을 포함한 데이터셋을 구축하는 것.
• 사용자 활동 또는 거래 데이터 없이도 캠페인 발표 시점에 이용 가능한 특징들만을 사용해 사기를 탐지하는 기계학습 분류기를 개발하는 것.
• 텍스트 및 시각적 특징을 융합했을 때 인간 수준의 성능을 초월하는 사기 탐지 능력이 향상되는지 평가하는 것.
• 브라우저 플러그인 또는 플랫폼 내부 스크리닝 시스템과 같은 구현 가능한 도구를 통해 실시간으로 사전 차단이 가능한 사기 탐지 시스템을 제공하는 것.

제안 방법

• GoFundMe, MightyCause, Fundly, Fundrazr, Indiegogo에서 의료 및 비상 상황 관련 요청을 중심으로 700건의 크라우드소싱 캠페인을 수집하고 수작업으로 레이블링했다.
• 감정, 독해도, 기만과 관련된 언어적 신호 등을 포함한 자연어 처리(NLP) 기법을 사용해 텍스트 특징을 추출했다.
• 컴퓨터 비전 및 딥러닝 모델을 활용해 이미지 기반 특징을 추출하여, 변조된 이미지나 일반적인 스톡 사진과 같은 이질성을 탐지했다.
• 각 캠페인에 대해 텍스트 및 시각적 특징을 융합한 통합 특징 벡터를 구성했다.
• 결합된 특징 세트를 기반으로 앙상블 기계학습 분류기(XGBoost 또는 유사 모델 등)를 훈련시어 캠페인 발표 시점의 사기 여부를 예측했다.
• 실시간 적용 가능성을 중시해 AUC, 정밀도, 재현율, 정확도와 같은 표준 지표를 사용해 모델 성능을 평가했다.

실험 결과

연구 질문

• RQ1 캠페인 발표 시점에 사기성 크라우드소싱 캠페인과 정당한 캠페인을 구분하는 데 어떤 텍스트 및 시각적 특징이 존재하는가?
• RQ2 사전 게시 특징만을 사용해 훈련된 기계학습 모델이 인간의 판단 능력보다 더 높은 정확도로 사기를 탐지할 수 있는가?
• RQ3 NLP와 이미지 처리의 융합은 기부 기반 크라우드소싱 캠페인에서의 기만 탐지에 얼마나 효과적인가?
• RQ4 이러한 시스템은 브라우저 플러그인 또는 플랫폼 수준의 필터로 실시간으로 구현 가능한가?
• RQ5 annotation 및 모델 훈련 과정에서 발생할 수 있는 주요 편향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 모델은 사전 게시 시점의 텍스트 및 이미지 특징만을 사용해도 사기 캠페인 탐지에 최대 AUC 96.01%를 달성한다.
• 분류기는 정밀도 91.14%와 재현율 90.77%를 기록하며, 인간의 기만 탐지 능력보다 약 41% 향상된 성능을 보인다.
• 감정 어조, 독해도, 언어적 기만 신호 등 텍스트 특징은 사기 여부를 강력하게 예측하는 데 기여한다.
• 일반적 또는 스톡 사진 사용 여부 등 이미지 기반 특징은 사기 캠페인과 뚜렷한 상관관계를 보인다.
• 모델의 성능은 캠페인 생성 시점에 사전에 대응 가능한 사기 탐지의 가능성을 입증한다.
• 본 연구는 사기 행위가 크라우드소싱 생태계에서 소수지만 영향력 있는 비중을 차지하며, 연간 수백만 달러의 손실이 발생할 수 있음을 밝혀냈다.