[论文解读] I call BS: Fraud Detection in Crowdfunding Campaigns

Beatrice Perez, Sara Machado+2 more|arXiv (Cornell University)|Jun 30, 2020

FinTech, Crowdfunding, Digital Finance被引用 4

一句话总结

本文提出了一种机器学习框架，仅利用项目描述和图片中的文本与视觉特征，在项目发布时检测欺诈性众筹活动。通过在700个与健康相关的项目手动标注数据集上训练集成分类器，该方法实现了96.01%的AUC和91.14%的精确率，可在浏览器或平台审核系统中实现实时欺诈检测。

ABSTRACT

Donations to charity-based crowdfunding environments have been on the rise in the last few years. Unsurprisingly, deception and fraud in such platforms have also increased, but have not been thoroughly studied to understand what characteristics can expose such behavior and allow its automatic detection and blocking. Indeed, crowdfunding platforms are the only ones typically performing oversight for the campaigns launched in each service. However, they are not properly incentivized to combat fraud among users and the campaigns they launch: on the one hand, a platform's revenue is directly proportional to the number of transactions performed (since the platform charges a fixed amount per donation); on the other hand, if a platform is transparent with respect to how much fraud it has, it may discourage potential donors from participating. In this paper, we take the first step in studying fraud in crowdfunding campaigns. We analyze data collected from different crowdfunding platforms, and annotate 700 campaigns as fraud or not. We compute various textual and image-based features and study their distributions and how they associate with campaign fraud. Using these attributes, we build machine learning classifiers, and show that it is possible to automatically classify such fraudulent behavior with up to 90.14% accuracy and 96.01% AUC, only using features available from the campaign's description at the moment of publication (i.e., with no user or money activity), making our method applicable for real-time operation on a user browser.

研究动机与目标

• 研究与健康相关的募捐类众筹项目中欺诈行为的特征。
• 从GoFundMe和Indiegogo等主要平台收集并构建700个标注项目的数据集（欺诈 vs. 非欺诈）。
• 开发一种机器学习分类器，仅使用项目发布时可获取的特征进行欺诈检测，无需用户行为或交易数据。
• 评估结合文本与视觉特征是否能将欺诈检测性能提升至超越人类水平。
• 通过可部署工具（如浏览器插件或平台端筛查系统）实现实时、主动的欺诈检测。

提出的方法

• 从GoFundMe、MightyCause、Fundly、Fundrazr和Indiegogo等平台收集并标注了700个众筹项目，重点为医疗和紧急求助类项目。
• 使用自然语言处理技术提取文本特征，包括情感分析、可读性以及与欺骗相关的语言线索。
• 利用计算机视觉和深度学习模型提取基于图像的特征，以检测异常情况，如图像篡改或使用通用图片。
• 将文本与视觉特征整合为每个项目的统一特征向量。
• 在组合特征集上训练集成机器学习分类器（如XGBoost或类似模型），以在项目发布时预测欺诈状态。
• 使用标准指标（AUC、精确率、召回率和准确率）评估模型性能，重点关注实时适用性。

实验结果

研究问题

• RQ1 在项目发布时，哪些文本与视觉特征能够区分欺诈性众筹项目与合法项目？
• RQ2 基于发布前特征训练的机器学习模型能否以高于人类判断的准确率检测欺诈？
• RQ3 自然语言处理与图像处理相结合，在检测募捐类众筹中的欺骗行为方面效果如何？
• RQ4 此类系统在多大程度上可实现实时部署，例如作为浏览器插件或平台级过滤器？
• RQ5 标注与模型训练过程中主要存在哪些偏差，以及如何加以缓解？

主要发现

• 所提出的模型仅使用发布前的文本与图像特征，即可实现96.01%的最大AUC，用于检测欺诈项目。
• 分类器达到91.14%的精确率和90.77%的召回率，显著优于人类欺骗检测能力（约提升41%）。
• 文本特征（如情感化语言、可读性以及语言欺骗线索）是欺诈的强预测指标。
• 图像特征（如使用通用或库存图片）与欺诈项目显著相关。
• 模型性能表明，欺诈检测在项目创建时刻即可实现，支持主动干预。
• 本研究揭示，欺诈在众筹生态系统中虽占比较小，但影响重大，可能导致每年数百万美元的损失。