[论文解读] Detecting Offensive Content in Open-domain Conversations using Two Stage Semi-supervision

Chandra Khatri, Behnam Hedayatnia+4 more|arXiv (Cornell University)|Nov 30, 2018

Hate Speech and Cyberbullying Detection被引用 11

一句话总结

本文提出一种两阶段半监督方法，用于构建大规模、高质量的数据集，以检测开放域对话中的敏感语言。通过利用黑名单对子版块进行排序，并结合弱监督模型迭代优化数据选择，该方法在域外测试集上实现了95.5%的F1分数，显著优于在公开数据集上训练的模型。

ABSTRACT

As open-ended human-chatbot interaction becomes commonplace, sensitive content detection gains importance. In this work, we propose a two stage semi-supervised approach to bootstrap large-scale data for automatic sensitive language detection from publicly available web resources. We explore various data selection methods including 1) using a blacklist to rank online discussion forums by the level of their sensitiveness followed by randomly sampling utterances and 2) training a weakly supervised model in conjunction with the blacklist for scoring sentences from online discussion forums to curate a dataset. Our data collection strategy is flexible and allows the models to detect implicit sensitive content for which manual annotations may be difficult. We train models using publicly available annotated datasets as well as using the proposed large-scale semi-supervised datasets. We evaluate the performance of all the models on Twitter and Toxic Wikipedia comments testsets as well as on a manually annotated spoken language dataset collected during a large scale chatbot competition. Results show that a model trained on this collected data outperforms the baseline models by a large margin on both in-domain and out-of-domain testsets, achieving an F1 score of 95.5% on an out-of-domain testset compared to a score of 75% for models trained on public datasets. We also showcase that large scale two stage semi-supervision generalizes well across multiple classes of sensitivities such as hate speech, racism, sexual and pornographic content, etc. without even providing explicit labels for these classes, leading to an average recall of 95.5% versus the models trained using annotated public datasets which achieve an average recall of 73.2% across seven sensitive classes on out-of-domain testsets.

研究动机与目标

• 为解决在开放域聊天机器人交互中检测敏感语言的挑战，其中人工标注成本高且依赖上下文。
• 克服黑名单的局限性，如召回率低以及无法捕捉隐含或上下文敏感的攻击性内容。
• 开发一种可扩展、灵活的数据收集策略，适用于多种敏感类别，而无需为每一类提供显式标注。
• 通过利用大规模半监督数据，提升模型在域内和域外测试集上的性能。
• 证明在自举数据上训练的模型能更好地泛化到细微、隐含或文化背景复杂的攻击性语言。

提出的方法

• 使用一个包含攻击性词汇的种子黑名单，按敏感程度对Reddit子版块进行排序，从中选择最敏感和最不敏感社区的内容。
• 在从高敏感度和低敏感度子版块中抽取的小规模、平衡的语句样本上训练初始分类器，以建立基线模型。
• 将训练好的分类器与黑名单结合，对排序后的子版块进行评分和数据筛选，构建更大规模、更具代表性的数据集。
• 在第二阶段使用在Toxic Comment Challenge数据集上训练的弱监督模型，以提升数据选择质量，增强模型泛化能力。
• 将自举得到的数据与公开数据集（Twitter、Toxic Wikipedia）结合，用于微调和评估最终模型。
• 利用大规模对话数据捕捉标准过滤器所遗漏的上下文相关、隐含或文化背景复杂的攻击性内容。

实验结果

研究问题

• RQ1 两阶段半监督方法能否有效自举大规模、多样化且高质量的数据，用于开放域对话中的敏感语言检测？
• RQ2 在域外测试集上，与在公开人工标注数据集上训练的模型相比，自举数据训练的模型性能如何？
• RQ3 在未为特定敏感类别（如仇恨言论、种族主义、性内容）提供显式标注的情况下，模型在多种攻击性语言类型上的泛化能力有多强？
• RQ4 将黑名单与弱监督评分结合，是否能提升对隐含或上下文依赖的攻击性语句的数据选择和模型召回率？
• RQ5 大规模半监督数据能否捕捉到细微、不明显的攻击性内容，如讽刺或政治敏感言论，而这些内容对基于规则的系统难以检测？

主要发现

• 所提出的两阶段半监督方法在域外测试集上实现了95.5%的F1分数，显著优于在公开数据集上训练的基线模型（仅75% F1）。
• 在域外测试集上，自举数据训练的模型在七个敏感类别上的平均召回率达到95.5%，而基于公开数据集训练的模型仅为73.2%。
• TS Bootstrap模型在聊天机器人测试集上对敏感类别的召回率达到92.0%，表明其对未见的、开放域对话数据具有强大的泛化能力。
• 定性分析表明，该模型能够检测到细微、依赖上下文的攻击性语句，如“X是迄今为止最复杂的谎言”和“Z是魔鬼”，这些内容甚至对人类标注者也难以判断。
• 该方法在多种敏感类型（包括仇恨言论、种族主义、性内容和暴力）上均表现出良好泛化能力，且无需为这些类别提供显式标注。
• 将自举数据与公开数据集（Twitter和Toxic）结合后，F1分数进一步提升至95.6%，表明多种数据源具有互补优势。