[论文解读] Harnessing the Power of the Crowd to Increase Capacity for Data Science in the Social Sector

Peter Bull, Isaac Slavitt+1 more|arXiv (Cornell University)|Jun 24, 2016

FinTech, Crowdfunding, Digital Finance参考文献 3被引用 9

一句话总结

本文展示了如何通过在DrivenData等开放平台举办的数据科学竞赛，显著提升社会影响力——借助全球人才解决教育、公共卫生和政府治理中的关键问题。研究证明，众包机器学习模型在波士顿食品安全项目中使检查效率提升30%–50%，表明开放创新是一种高效且低成本获取高质量预测模型的有效方法，适用于非营利组织和政府机构。

ABSTRACT

We present three case studies of organizations using a data science competition to answer a pressing question. The first is in education where a nonprofit that creates smart school budgets wanted to automatically tag budget line items. The second is in public health, where a low-cost, nonprofit women's health care provider wanted to understand the effect of demographic and behavioral questions on predicting which services a woman would need. The third and final example is in government innovation: using online restaurant reviews from Yelp, competitors built models to forecast which restaurants were most likely to have hygiene violations when visited by health inspectors. Finally, we reflect on the unique benefits of the open, public competition model.

研究动机与目标

• 通过在公共数据科学竞赛中采用开放创新，解决社会领域中数据科学家严重短缺的问题。
• 利用众包算法训练的机器学习模型，提升公共事务（如学校预算编制、女性健康预测、食品安全检查）的效率与效果。
• 证明开放竞赛能够以远低于传统招聘成本的投入，生成高性能且可扩展的数据科学解决方案。
• 通过创建公开透明的问题解决平台，促进数据科学家、非营利组织与政府机构之间的协作与知识共享。

提出的方法

• 组织机构在DrivenData平台上举办公开的、开放的数据科学竞赛，提供来自教育、公共卫生和市政服务等领域的实际数据集。
• 参赛者需基于文本、元数据和历史检查数据，构建监督式机器学习模型，以预测预算类别标签或未来的卫生违规情况。
• 竞赛采用两阶段评估：竞赛期间使用保留数据集的公开排行榜，随后通过使用未来检查数据的实时评估阶段，测试预测准确性。
• 模型训练采用标准技术，如逻辑回归和自然语言处理，处理非结构化、领域特定的文本（如学校预算条目、Yelp评论）。
• 性能通过标准指标（如对数损失，越低越好）进行衡量，基于在未见数据上的预测准确性选择最佳模型。
• 优胜模型在真实场景中进行了评估，包括通过实地实验集成到波士顿的检查运营流程中。

实验结果

研究问题

• RQ1 开放、公开的数据科学竞赛能否在专家数据科学家资源有限的情况下，有效生成高质量的预测模型，以应对社会领域挑战？
• RQ2 与传统随机检查方法相比，众包模型在提升食品安全检查等公共服务效率方面能达到何种程度？
• RQ3 自然语言处理技术在真实非营利组织和政府数据集中，对领域特定、非正式且缩写化的文本，其泛化能力如何？
• RQ4 数据科学竞赛能否通过吸引全球人才，推动社会影响力领域的创新与跨部门协作？
• RQ5 在实际运行环境中部署时，竞赛中表现最佳的模型会产生怎样的真实世界影响？

主要发现

• 波士顿食品安全竞赛的优胜算法相较于传统随机检查方法，使检查效率提升了30%至50%。
• 教育案例研究中表现最佳的模型由一位参赛者提交超过100次，表明高水平数据科学家的深度参与与持续迭代优化。
• 用于预测女性医疗保健服务需求的竞赛模型，利用人口统计和行为调查数据实现了高预测准确性，有助于早期干预策略的制定。
• 哈佛研究团队估计，将优胜算法整合进波士顿的检查流程，将显著改善资源分配，并提升对高风险餐厅的识别能力。
• 学校预算分类的竞赛模型成功通过监督式机器学习自动化处理了45万条以上的预算条目，大幅减少人工劳动。
• 实时评估阶段证实，基于历史数据训练的模型能够有效泛化至未来预测，验证了该竞赛框架在实际部署中的可靠性。