[论文解读] Always Lurking: Understanding and Mitigating Bias in Online Human Trafficking Detection

Kyle Hundman, Thamme Gowda+2 more|arXiv (Cornell University)|Dec 3, 2017

Spam and Phishing Detection参考文献 17被引用 5

一句话总结

本文提出了一套用于在招嫖广告中检测在线人口贩卖的机器学习流水线，采用可解释指标与偏见缓解策略，通过集成至执法机构使用的搜索系统，已实现真实世界影响，被200多个执法机构采用，并促成至少三起起诉，包括旧金山一起判处97年有期徒刑的案件。

ABSTRACT

Web-based human trafficking activity has increased in recent years but it remains sparsely dispersed among escort advertisements and difficult to identify due to its often-latent nature. The use of intelligent systems to detect trafficking can thus have a direct impact on investigative resource allocation and decision-making, and, more broadly, help curb a widespread social problem. Trafficking detection involves assigning a normalized score to a set of escort advertisements crawled from the Web -- a higher score indicates a greater risk of trafficking-related (involuntary) activities. In this paper, we define and study the problem of trafficking detection and present a trafficking detection pipeline architecture developed over three years of research within the DARPA Memex program. Drawing on multi-institutional data, systems, and experiences collected during this time, we also conduct post hoc bias analyses and present a bias mitigation plan. Our findings show that, while automatic trafficking detection is an important application of AI for social good, it also provides cautionary lessons for deploying predictive machine learning algorithms without appropriate de-biasing. This ultimately led to integration of an interpretable solution into a search system that contains over 100 million advertisements and is used by over 200 law enforcement agencies to investigate leads.

研究动机与目标

• 解决在稀疏、非均匀分布的在线招嫖广告中检测潜在、不明显的贩卖指标的挑战。
• 开发一种可扩展、可解释的机器学习流水线，用于风险评分，以支持人口贩卖案件的调查决策。
• 系统性识别并缓解训练数据和模型预测中的偏见，防止导致不公平或不准确的检测结果。
• 将系统集成至一个生产级搜索平台，供200多个执法机构用于真实世界调查。
• 通过专家提取的指标和模型推理的透明性，确保系统的实用性和可信度。

提出的方法

• 该流水线采用多阶段方法：从网络爬取的招嫖广告中收集数据，对相关广告进行聚类以处理潜在关联关系，并结合基于规则的指标与无监督文本嵌入技术进行特征工程。
• 聚类通过相关性聚类结合局部启发式方法实现，用于将可能来自同一贩运者或组织的广告分组，从而减少数据重复和依赖问题。
• 通过对抗性去偏方法实现偏见缓解，即训练一个判别器以检测并最小化对敏感属性（如种族、年龄）的依赖，同时通过平衡采样使各类别间特征分布趋于均衡。
• 从专家输入中提取可解释指标（如未成年人迹象、高风险服务、单则广告中出现多名女性等），并嵌入模型以提升透明度和调查实用性。
• 采用分布差异度量方法（如Rényi散度、Kolmogorov–Smirnov检验）评估并确保训练集与测试集间特征分布的均衡性。
• 最终模型被集成至DIG搜索系统，该系统索引超过100万条广告，并支持实时风险评分，为调查人员提供可解释的线索。

实验结果

研究问题

• RQ1 如何在稀疏、非均匀分布的在线招嫖广告中可靠检测潜在的贩卖指标？
• RQ2 人口贩卖检测训练数据中的主要偏见来源是什么？如何在机器学习模型中系统性缓解这些偏见？
• RQ3 可解释的、由专家定义的指标在多大程度上能提升自动化贩卖检测系统的可信度和实用性？
• RQ4 聚类技术如何在存在近似重复或相关广告的情况下，减少数据依赖并提升模型泛化能力？
• RQ5 在实际执法调查中部署一种可解释、去偏的检测系统，其真实世界影响如何？

主要发现

• 对抗性去偏与平衡采样策略的结合显著降低了模型对种族、年龄等敏感属性的依赖，提升了公平性与泛化能力。
• 使用可解释指标（如未成年人迹象、单则广告中多名女性、高风险服务等）增强了模型透明度，并被执法机构直接用于调查推理。
• 该系统已成功部署于DIG搜索平台，该平台索引超过100万条招嫖广告，被超过200家美国执法机构使用。
• 该系统促成至少三起人口贩卖起诉，包括旧金山一起标志性案件：一名男子被判处97年有期徒刑，25名受害者获救。
• 通过交叉验证与跨聚类损失估计，验证了模型性能，确认在考虑潜在广告聚类后模型鲁棒性得到提升。
• 通过DARPA Memex目录开源发布非贩卖版本的工具，促进了更广泛的应用与社区对方法论的验证。