[论文解读] Combating Human Trafficking with Deep Multimodal Models

Edmund Tong, Amir Zadeh+2 more|arXiv (Cornell University)|May 8, 2017

Sex work and related issues参考文献 17被引用 20

一句话总结

本文介绍了Trafficking-10k数据集，这是一个大规模、多模态的数据集，包含超过10,000条与人口贩卖相关的广告，并以贩卖可能性进行标注。本文提出Human Trafficking Deep Network (HTDN) 模型，一种通过微调VGG和上下文语言表示来融合文本与图像特征的深度多模态模型，在检测贩卖内容方面取得了最先进性能，显著优于单模态和非神经网络基线模型。

ABSTRACT

Human trafficking is a global epidemic affecting millions of people across the planet. Sex trafficking, the dominant form of human trafficking, has seen a significant rise mostly due to the abundance of escort websites, where human traffickers can openly advertise among at-will escort advertisements. In this paper, we take a major step in the automatic detection of advertisements suspected to pertain to human trafficking. We present a novel dataset called Trafficking-10k, with more than 10,000 advertisements annotated for this task. The dataset contains two sources of information per advertisement: text and images. For the accurate detection of trafficking advertisements, we designed and trained a deep multimodal model called the Human Trafficking Deep Network (HTDN).

研究动机与目标

• 为应对在线人口贩卖日益严峻的挑战，特别是通过发布随意广告的接送网站传播的贩卖行为。
• 开发一种稳健且可泛化的机器学习系统，即使在对抗性混淆和非标准语言下也能检测贩卖指标。
• 创建首个大规模、严格标注的数据集——Trafficking-10k——包含文本和视觉模态，用于人口贩卖广告检测。
• 设计并训练一个端到端的多模态深度神经网络（HTDN），联合建模文本和图像特征以提升检测性能。
• 通过融合语言与视觉模态的语义理解，克服基于关键词和单模态方法的局限性。

提出的方法

• HTDN模型采用晚期融合架构，通过独立编码器处理文本和视觉输入：使用字符级嵌入的双向LSTM处理文本，使用微调后的T-VGG网络处理图像。
• 文本特征通过字符级双向LSTM提取，增强了对贩卖广告中常见拼写变异和混淆的鲁棒性。
• 视觉特征从微调后的VGG-16网络（T-VGG）中提取，通过适应接送广告中的特定视觉模式，性能优于预训练VGG。
• 通过拼接和前馈网络融合来自两种模态的晚期学习表征，实现在贩卖可能性上的联合推理。
• 使用验证集优化超参数，采用Adam优化和Xavier权重初始化以保证训练稳定性。
• 基线模型包括词袋模型、基于关键词的方法、词向量模型以及传统分类器（SVM、随机森林），用于对比评估。

实验结果

研究问题

• RQ1 与单模态或非神经网络方法相比，能够联合分析文本和图像的深度多模态模型是否能显著提升对人口贩卖广告的检测性能？
• RQ2 在贩卖检测中，微调预训练CNN（T-VGG）与使用预训练VGG相比，其视觉特征提取效果如何？
• RQ3 字符级语言建模在多大程度上能提升对贩卖广告中混淆和非标准语言的鲁棒性？
• RQ4 所学特征在多样的贩卖广告模式中具有多大泛化能力，尤其是在类别高度不平衡和对抗性混淆的情况下？
• RQ5 多模态融合能否有效捕捉上下文线索（如文本描述酒店房间而图像显示酒店环境）以提示贩卖行为？

主要发现

• HTDN模型在所有评估模型中取得最高的F1分数和加权准确率，显著优于非神经网络和单模态基线模型。
• 微调VGG网络（T-VGG）相比预训练VGG带来了可测量的性能提升，表明领域特定的视觉特征学习具有优势。
• 仅使用语言模态（通过字符级BiLSTM）的表现优于仅使用视觉模态（T-VGG），表明文本包含更多用于贩卖检测的判别性信号。
• HTDN中两种模态的结合实现了更优的性能，证实多模态融合能捕捉到单独立时无法获得的互补线索。
• t-SNE可视化显示，任一单一特征表示（如词袋、关键词、词向量、视觉特征）均未使分类任务变得简单，表明数据集具有复杂性。
• 随机基线（预测多数类）和人工性能分别作为下界和上界，HTDN显著优于前者，并接近后者。