[论文解读] Antisemitic Messages? A Guide to High-Quality Annotation and a Labeled Dataset of Tweets

Günther Jikeli, Sameer Karali+2 more|arXiv (Cornell University)|Apr 28, 2023

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文提出了一套高质量的标注框架，并构建了一个包含6,941条英文推文（18%为反犹主义内容）的标注数据集，时间范围为2019年1月至2021年12月，采用国际大屠杀纪念联盟（IHRA）对反犹主义的定义。该方法通过要求标注者明确指出适用定义的哪一部分，严格贯彻定义的应用，并允许个人对定义适用性提出异议，从而减少自动化检测中的误报。

ABSTRACT

One of the major challenges in automatic hate speech detection is the lack of datasets that cover a wide range of biased and unbiased messages and that are consistently labeled. We propose a labeling procedure that addresses some of the common weaknesses of labeled datasets. We focus on antisemitic speech on Twitter and create a labeled dataset of 6,941 tweets that cover a wide range of topics common in conversations about Jews, Israel, and antisemitism between January 2019 and December 2021 by drawing from representative samples with relevant keywords. Our annotation process aims to strictly apply a commonly used definition of antisemitism by forcing annotators to specify which part of the definition applies, and by giving them the option to personally disagree with the definition on a case-by-case basis. Labeling tweets that call out antisemitism, report antisemitism, or are otherwise related to antisemitism (such as the Holocaust) but are not actually antisemitic can help reduce false positives in automated detection. The dataset includes 1,250 tweets (18%) that are antisemitic according to the International Holocaust Remembrance Alliance (IHRA) definition of antisemitism. It is important to note, however, that the dataset is not comprehensive. Many topics are still not covered, and it only includes tweets collected from Twitter between January 2019 and December 2021. Additionally, the dataset only includes tweets that were written in English. Despite these limitations, we hope that this is a meaningful contribution to improving the automated detection of antisemitic speech.

研究动机与目标

• 为解决缺乏覆盖广泛偏见与无偏见言论的、一致标注的数据集的问题。
• 通过纳入讨论反犹主义、大屠杀或以色列但本身并非反犹主义的推文，减少自动化反犹主义言论检测中的误报。
• 开发一种严格的标注流程，通过结构化标注强制遵循IHRA对反犹主义的定义。
• 创建一个具有代表性的、话题多样的英文推文数据集，时间窗口限定在2019–2021年。
• 提供一种方法论指南，以支持仇恨言论研究中的可重复性与一致性。

提出的方法

• 要求标注者明确指出每条推文适用IHRA反犹主义定义的哪一组成部分。
• 标注者可针对个案选择性地个人不同意定义的应用，以确保透明性并减少偏见。
• 通过在2019年1月至2021年12月期间，从代表性样本中使用相关关键词收集推文。
• 根据IHRA定义，数据集中包含1,250条反犹主义推文（占18%），其余为非反犹主义内容。
• 通过围绕标准化定义进行结构化标注，强调标注的一致性与清晰性。
• 数据集经过筛选，包含报道、批评或讨论反犹主义但本身并非反犹主义的推文。

实验结果

研究问题

• RQ1 如何改进标注流程，以确保反犹主义内容标注的一致性与可靠性？
• RQ2 根据IHRA定义，讨论犹太人、以色列或大屠杀的推文中，实际属于反犹主义的比例是多少？
• RQ3 在自动化反犹主义言论检测系统中，纳入非反犹主义但与反犹主义相关的推文内容，能否提升系统性能？
• RQ4 一种将标签与定义具体组成部分关联的结构化标注流程，在多大程度上减少了标注的模糊性？
• RQ5 2019–2021年期间的英文推文数据集在多大程度上能够代表反犹主义与非反犹主义言论的完整谱系？

主要发现

• 该数据集包含从2019年1月至2021年12月期间从Twitter收集的6,941条推文，全部为英文。
• 其中1,250条推文（占18%）根据IHRA定义被分类为反犹主义内容。
• 标注流程通过要求标注者识别每条推文适用的定义具体组成部分，成功地实施了IHRA定义。
• 纳入那些讨论或报道反犹主义但本身并非反犹主义的推文，有助于减少自动化检测系统中的误报。
• 该数据集并不全面，因为它排除了非英文内容，并且仅涵盖反犹主义相关话题的子集。
• 尽管存在局限性，该数据集与标注框架仍为提升反犹主义言论检测的准确性和一致性做出了有意义的贡献。