[论文解读] FlagIt: A System for Minimally Supervised Human Trafficking Indicator Mining

Mayank Kejriwal, Jiayuan Ding+3 more|arXiv (Cornell University)|Dec 5, 2017

Hate Speech and Cyberbullying Detection参考文献 6被引用 10

一句话总结

FlagIt 是一种最小化监督的系统，结合了轻量级专家规则、无监督文本嵌入（例如，fasttext）以及启发式半监督重新标注，用于对数百万条在线性交易广告语句进行人类贩卖指标的标注。其 F1 分数略低于 80%，在五项指标中的四项上比基线模型高出 2%–13%，展现出在极少标注数据下的优异性能。

ABSTRACT

In this paper, we describe and study the indicator mining problem in the online sex advertising domain. We present an in-development system, FlagIt (Flexible and adaptive generation of Indicators from text), which combines the benefits of both a lightweight expert system and classical semi-supervision (heuristic re-labeling) with recently released state-of-the-art unsupervised text embeddings to tag millions of sentences with indicators that are highly correlated with human trafficking. The FlagIt technology stack is open source. On preliminary evaluations involving five indicators, FlagIt illustrates promising performance compared to several alternatives. The system is being actively developed, refined and integrated into a domain-specific search system used by over 200 law enforcement agencies to combat human trafficking, and is being aggressively extended to mine at least six more indicators with minimal programming effort. FlagIt is a good example of a system that operates in limited label settings, and that requires creative combinations of established machine learning techniques to produce outputs that could be used by real-world non-technical analysts.

研究动机与目标

• 解决在标注数据极少的情况下，检测在线性交易广告中人类贩卖指标的挑战。
• 减少在高风险、低资源领域中对昂贵的人工标注和专家特征工程的依赖。
• 开发一种可扩展、可扩展的系统，以支持执法部门的现实应用，且编程开销极低。
• 通过可解释的规则基础标注和概率指标，使非技术背景的调查人员能够识别可疑内容。
• 支持在超过 200 个执法机构使用的实际执法搜索系统中部署。

提出的方法

• FlagIt 使用基于 spaCy 的轻量级专家系统与规则模式，识别候选句子用于指标标注。
• 应用最先进的无监督文本嵌入（例如，fasttext）将句子表示为密集向量空间中的向量，以支持下游分类。
• 采用半监督启发式重新标注策略，从分类器概率分布尾部选择高置信度的未标注句子，并迭代重新训练模型。
• 系统按指标分别训练，使用少量专家标注数据集，随后在仅需极少重新配置的情况下扩展至数百万条句子。
• 指标标签用于在执法部门专用搜索引擎（DS1/DS2）中生成线索和开展调查。
• 该架构支持通过每项指标仅数小时的努力，快速扩展至新指标。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，最小化监督系统能否在检测在线性交易广告中的人类贩卖指标方面实现高性能？
• RQ2 在不规则、领域特定的文本中，无监督文本嵌入（如 fasttext）相较于传统方法（如 paragraph2vec）的性能如何？
• RQ3 在低数据量环境下，启发式半监督重新标注在多大程度上提升了分类器性能？
• RQ4 结合规则逻辑与嵌入学习的混合系统，能否在非技术执法用户中实现既准确又实用的性能？
• RQ5 该系统在添加新指标时，其可扩展性和可扩展性如何，且工程成本极低？

主要发现

• FlagIt 在五个人类贩卖指标上实现了平均 F1 分数略低于 80%，在低数据环境下表现出色。
• 在五项指标中的四项上，FlagIt 的 F1 分数比最佳基线高出 2%–13%，且始终是表现最佳的自适应基线。
• 半监督学习在所有指标上将性能提升了 1%–9%，证实了其在低标注数据环境下的价值。
• 尽管经过大量超参数调优，fasttext 嵌入模型仍显著优于 paragraph2vec，凸显了在不规则领域中模型选择的重要性。
• 该系统可扩展支持 11–13 项指标，每项指标仅需数小时努力，可实现新信号的快速部署。
• FlagIt 已集成至超过 200 个执法机构使用的实际执法搜索系统中，证明了其在现实世界中的影响和可扩展性。