[论文解读] Assessing the impact of contextual information in hate speech detection

Juan Manuel Cepeda Pérez, Franco M. Luque+9 more|arXiv (Cornell University)|Oct 2, 2022

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本研究探讨了在西班牙语中上下文信息对仇恨言论检测的影响，使用了在新冠疫情期间对新闻文章的推文回复新标注的语料库。通过使用基于变压器的模型，作者证明了融入上下文信息——尤其是新闻文章标题——可使二元分类和多标签分类的宏F1分数分别提高4.2分和5.5分。

ABSTRACT

In recent years, hate speech has gained great relevance in social networks and other virtual media because of its intensity and its relationship with violent acts against members of protected groups. Due to the great amount of content generated by users, great effort has been made in the research and development of automatic tools to aid the analysis and moderation of this speech, at least in its most threatening forms. One of the limitations of current approaches to automatic hate speech detection is the lack of context. Most studies and resources are performed on data without context; that is, isolated messages without any type of conversational context or the topic being discussed. This restricts the available information to define if a post on a social network is hateful or not. In this work, we provide a novel corpus for contextualized hate speech detection based on user responses to news posts from media outlets on Twitter. This corpus was collected in the Rioplatense dialectal variety of Spanish and focuses on hate speech associated with the COVID-19 pandemic. Classification experiments using state-of-the-art techniques show evidence that adding contextual information improves hate speech detection performance for two proposed tasks (binary and multi-label prediction). We make our code, models, and corpus available for further research.

研究动机与目标

• 通过融入对话和主题上下文，解决孤立信息仇恨言论检测的局限性。
• 构建一个高质量、人工标注的里奥普拉塔诺西班牙语仇恨言论数据集，聚焦于与新冠疫情相关的歧视行为。
• 研究上下文信息是否能提升最先进自然语言处理模型在仇恨言论检测任务中的性能。
• 探索超越二元仇恨言论检测的多标签分类，包括攻击目标和行动号召。
• 提供语料库、标注和模型的开源访问，以支持可复现性和未来研究。

提出的方法

• 基于阿根廷主要媒体机构的新闻文章，构建了以推文回复为主的社交媒体语料库，聚焦于与新冠疫情相关的仇恨言论。
• 使用详细的多标签指南对代表性样本进行标注，涵盖仇恨言论、攻击目标和行动号召。
• 采用基于变压器的模型（如BERT类架构），在孤立评论和上下文感知输入上进行微调。
• 通过在二元和多标签仇恨言论检测任务中，对比有无上下文信息情况下的宏F1分数，评估模型性能。
• 比较不同上下文类型（如标题、完整文章、对话线程）下的模型表现。
• 进行错误分析，识别持续存在的挑战，特别是语义复杂的仇恨言论（如针对LGBTI群体的讽刺或隐喻）。

实验结果

研究问题

• RQ1 将新闻文章中的上下文信息纳入，是否能提升西班牙语仇恨言论检测的性能？
• RQ2 上下文的引入如何影响对多标签仇恨言论特征（如攻击目标和行动号召）的检测？
• RQ3 哪种类型的上下文信息（如标题、完整文章）在仇恨言论检测中表现最佳？
• RQ4 最先进模型在处理语义复杂的仇恨言论（如针对LGBTI群体的反讽或隐喻）时，其表现受限程度如何？
• RQ5 在低资源、方言特定的环境下，上下文信息能否缓解孤立信息仇恨言论检测的局限性？

主要发现

• 加入上下文信息——特别是新闻文章标题——使二元分类的宏F1分数提高了4.2分。
• 在多标签分类中，上下文的引入使宏F1分数提升了5.5分，表明在细粒度仇恨言论检测中收益更显著。
• 最小的上下文（即标题）表现最佳，表明简洁且主题相关的上下文已足够且有效。
• 使用更长的上下文（如完整文章）时，模型性能未显著提升，表明过多上下文可能无法增加价值，甚至可能引入噪声。
• 针对LGBTI群体的仇恨言论——常涉及反讽和隐喻——检测依然具有挑战性，但显著受益于上下文信息。
• 本研究证实，上下文信息是提升仇恨言论检测系统鲁棒性和准确性的关键因素，尤其在复杂和微妙的歧视形式中。