[论文解读] Large Scale Crowdsourcing and Characterization of Twitter Abusive Behavior

Antigoni-Maria Founta, Constantinos Djouvas+7 more|arXiv (Cornell University)|Feb 1, 2018

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文提出了一种大规模众包方法，用于标注推特上的攻击性行为，通过迭代标注和增强采样策略，提升对罕见攻击性类别的检测能力。经过对标注者一致性的统计分析，合并并消除了重叠标签后，生成了一个稳健的、公开可用的数据集，包含80,000条推文，其标签经过优化，主要为“攻击性”和“仇恨言论”类别。

ABSTRACT

In recent years, offensive, abusive and hateful language, sexism, racism and other types of aggressive and cyberbullying behavior have been manifesting with increased frequency, and in many online social media platforms. In fact, past scientific work focused on studying these forms in popular media, such as Facebook and Twitter. Building on such work, we present an 8-month study of the various forms of abusive behavior on Twitter, in a holistic fashion. Departing from past work, we examine a wide variety of labeling schemes, which cover different forms of abusive behavior, at the same time. We propose an incremental and iterative methodology, that utilizes the power of crowdsourcing to annotate a large scale collection of tweets with a set of abuse-related labels. In fact, by applying our methodology including statistical analysis for label merging or elimination, we identify a reduced but robust set of labels. Finally, we offer a first overview and findings of our collected and annotated dataset of 100 thousand tweets, which we make publicly available for further scientific exploration.

研究动机与目标

• 为解决社交媒体上攻击性行为标注不一致的问题，特别是难以区分仇恨言论、网络欺凌和冒犯性语言等细微类别的挑战。
• 开发一种可扩展、成本效益高的众包方法，确保在保持标注质量的同时，充分代表低频攻击性类别。
• 创建一个大规模、公开可用且经过统计验证的推特推文数据集，标注其攻击性行为，以支持未来自动化检测系统的研究。
• 通过标注者一致性的统计分析，识别并合并重叠或冗余的标签，以减少标签歧义。

提出的方法

• 设计了一种增量式、迭代式的众包框架，通过多轮标注与反馈，提升标注者之间的一致性。
• 采用增强采样策略，提高数据集中罕见攻击性类别（如仇恨言论、攻击性内容）的比例，以应对此类内容自然发生率低的问题。
• 开发了定制的数据收集平台，通过管理工作者分配、薪酬和任务路由，优化成本、时间和标注质量。
• 通过标注者间一致性的统计分析，执行标签合并与消除，包括压倒性一致（≥4/5）、强一致（≥3/5）和简单一致（≥2/5）的评分标准。
• 在消除不清晰或冗余的标签（如“网络欺凌”）后，最终的标注方案被简化为一组最小但稳健的标签——“攻击性”、“仇恨言论”、“垃圾信息”、“正常”——以提高实用性。
• 数据集由两部分组成：70,000条随机推文和10,000条增强采样推文，后者富含攻击性内容，以确保少数类别具备足够的统计效力。

实验结果

研究问题

• RQ1 如何优化众包标注，以减少标注者在区分推特上细微攻击性语言形式时的混淆？
• RQ2 何种采样策略可确保低频攻击性类别的充分代表，同时避免在最终数据集中引入偏差？
• RQ3 哪些攻击性行为标签在统计上具有区分度且可靠？哪些可基于标注者间一致性的分析进行合并或消除？
• RQ4 与随机采样相比，增强采样方法在提升攻击性内容的可检测性与表征能力方面，效果如何？
• RQ5 如何系统性地构建并验证一个大规模、高质量且公开可用的推特攻击性内容数据集？

主要发现

• 超过55%的80,000条推文获得了至少4名标注者的一致认可（≥4/5），表明标注者间具有较强的可靠性。
• 最终数据集中，59%为正常，22.5%为垃圾信息，11%为攻击性，7.5%为仇恨言论，其余20%被标注为不适当或模糊。
• 增强采样子集（10,000条推文）包含了近一半（48%）的不适当内容，而随机样本中仅占4%，证明了该采样策略的有效性。
• 经统计分析后，由于“网络欺凌”标签的区分度低且与“攻击性”和“仇恨言论”标签高度重叠，被予以剔除。
• 最终的标注方案被简化为四个核心标签：“攻击性”、“仇恨言论”、“垃圾信息”和“正常”，这些标签被证明是最可靠且最具代表性的，可用于表征攻击性行为。
• 该数据集可在 http://ow.ly/BqCf30jqffN 公开获取，平台代码也已开源，地址为 http://ow.ly/TnuU30jqf7g，供研究社区复用。