[论文解读] Annotating for Hate Speech: The MaNeCo Corpus and Some Input from Critical Discourse Analysis

Stavros Assimakopoulos, Rebecca Vella Muskat+2 more|arXiv (Cornell University)|Aug 14, 2020

Hate Speech and Cyberbullying Detection参考文献 54被引用 10

一句话总结

本文提出了一种用于用户生成网络内容中仇恨言论检测的多层标注方案，其动机源于对马耳他在线报纸评论的批判性话语分析。通过避免直接标注‘仇恨言论’，转而聚焦于歧视性话语特征及其目标，该方案实现了高于二元分类的标注者间一致性，为仇恨言论检测的自然语言处理模型训练提供了更可靠的基线。

ABSTRACT

This paper presents a novel scheme for the annotation of hate speech in corpora of Web 2.0 commentary. The proposed scheme is motivated by the critical analysis of posts made in reaction to news reports on the Mediterranean migration crisis and LGBTIQ+ matters in Malta, which was conducted under the auspices of the EU-funded C.O.N.T.A.C.T. project. Based on the realization that hate speech is not a clear-cut category to begin with, appears to belong to a continuum of discriminatory discourse and is often realized through the use of indirect linguistic means, it is argued that annotation schemes for its detection should refrain from directly including the label 'hate speech,' as different annotators might have different thresholds as to what constitutes hate speech and what not. In view of this, we suggest a multi-layer annotation scheme, which is pilot-tested against a binary +/- hate speech classification and appears to yield higher inter-annotator agreement. Motivating the postulation of our scheme, we then present the MaNeCo corpus on which it will eventually be used; a substantial corpus of on-line newspaper comments spanning 10 years.

研究动机与目标

• 解决由于标注者主观阈值不一致导致的仇恨言论标注不一致问题。
• 为Web 2.0用户生成内容，特别是在马耳他等多语言及语码混杂语境下，开发更可靠的标注框架。
• 创建一个高质量、多标注的马耳他报纸评论语料库（MaNeCo），涵盖10年时间，用于仇恨言论研究。
• 探究歧视性话语的语言特征在不同目标群体（如移民与LGBTIQ+群体）之间的差异。
• 通过基于标注目标的领域特定训练数据选择，支持未来仇恨言论检测中的迁移学习。

提出的方法

• 设计一种多层标注方案，将歧视性话语的识别与直接的仇恨言论标注分离，以减少主观性。
• 将该方案应用于马耳他报纸中关于移民与LGBTIQ+议题的100条在线评论的试点数据集，标注目标群体、话语类型及语言标记。
• 运用批判性话语分析（CDA）以识别仇恨言论中隐含的、具有意识形态色彩的语言模式。
• 将该方案与二元仇恨言论分类进行对比，通过试点测试评估标注者间一致性和可靠性。
• 以MaNeCo语料库——涵盖10年马耳他在线报纸评论、包含大量语码混杂和非标准拼写——作为标注框架的测试平台。
• 通过比较多层标注与二元分类方法的标注者间一致性得分，验证该方案的有效性。

实验结果

研究问题

• RQ1 与二元仇恨言论分类相比，多层标注方案在多大程度上提升了标注者间一致性？
• RQ2 在线评论中，针对移民与LGBTIQ+群体的仇恨言论在语言和话语特征上存在哪些差异？
• RQ3 批判性话语分析在设计更可靠的仇恨言论标注方案方面能发挥多大作用？
• RQ4 多层级标注框架在仇恨言论检测中能否支持更有效的跨领域迁移学习？
• RQ5 间接的、具有意识形态色彩的表达如何在未被明确标注为仇恨言论的情况下，促成歧视性话语？

主要发现

• 多层标注方案的标注者间一致性高于二元分类，表明在标注歧视性话语方面具有更高的可靠性。
• 当标注者聚焦于特定话语特征和目标时，其判断表现出更高的稳定性，而非直接判断内容是否为‘仇恨言论’。
• 试点研究揭示了显著的语言模式差异：移民被通过‘入侵’隐喻以及‘危险’或‘不感恩’等表述来刻画，而LGBTIQ+个体则被使用道德化和《圣经》隐喻（如‘罪人’或‘异常’）来描述。
• MaNeCo语料库涵盖10年马耳他在线报纸评论，包含大量语码混杂和非标准拼写，反映了现实网络数据的挑战。
• 研究证实，仇恨言论存在于歧视性话语的连续谱中，通常以间接方式表达，因此需要超越简单二元标签的细致标注。
• 所提出的方案支持基于目标的领域特定数据选择，可能提升在不同类型仇恨言论（如种族主义、性别歧视、恐同）上的迁移学习性能。