[논문 리뷰] Antisemitic Messages? A Guide to High-Quality Annotation and a Labeled Dataset of Tweets

Günther Jikeli, Sameer Karali외 2명|arXiv (Cornell University)|2023. 04. 28.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 2019년 1월부터 2021년 12월까지의 영어 트윗 6,941건(18%가 반유대주의적)을 포함하는 고품질의 주석 프레임워크와 레이블링된 데이터셋을 제시한다. 이는 반유대주의의 IHRA 정의를 기반으로 하며, 주석자들이 정의의 어느 부분이 적용되는지 명시하도록 하여 정의의 엄격한 적용을 보장하고, 개인적 이견을 허용함으로써 자동 감지에서의 오진을 줄인다.

ABSTRACT

One of the major challenges in automatic hate speech detection is the lack of datasets that cover a wide range of biased and unbiased messages and that are consistently labeled. We propose a labeling procedure that addresses some of the common weaknesses of labeled datasets. We focus on antisemitic speech on Twitter and create a labeled dataset of 6,941 tweets that cover a wide range of topics common in conversations about Jews, Israel, and antisemitism between January 2019 and December 2021 by drawing from representative samples with relevant keywords. Our annotation process aims to strictly apply a commonly used definition of antisemitism by forcing annotators to specify which part of the definition applies, and by giving them the option to personally disagree with the definition on a case-by-case basis. Labeling tweets that call out antisemitism, report antisemitism, or are otherwise related to antisemitism (such as the Holocaust) but are not actually antisemitic can help reduce false positives in automated detection. The dataset includes 1,250 tweets (18%) that are antisemitic according to the International Holocaust Remembrance Alliance (IHRA) definition of antisemitism. It is important to note, however, that the dataset is not comprehensive. Many topics are still not covered, and it only includes tweets collected from Twitter between January 2019 and December 2021. Additionally, the dataset only includes tweets that were written in English. Despite these limitations, we hope that this is a meaningful contribution to improving the automated detection of antisemitic speech.

연구 동기 및 목표

• 반유대주의와 관련된 다양한 편향된 메시지와 편향되지 않은 메시지를 포함하는 일관된 주석이 부여된 데이터셋의 부족을 해결하기 위해.
• 반유대주의, 히틀러의 유대인 학살, 이스라엘과 관련된 주제를 다루지만 실제로는 반유대주의가 아닌 트윗을 포함시켜 자동 반유대주의 발언 감지에서의 오진을 줄이기 위해.
• IHRA 반유대주의 정의의 엄격한 준수를 보장하기 위해 구조화된 레이블링 방식을 통해 철저한 주석 프로세스를 개발하기 위해.
• 특정 시간 창(2019–2021) 동안 영어로 작성된 트윗에서 얻은 대표성 있고 주제가 다양한 데이터셋을 구축하기 위해.
• 혐오 발언 연구에서 재현 가능성과 일관성을 지원하는 고품질 주석의 방법론 가이드를 기여하기 위해.

제안 방법

• 주석자들은 각 트윗에 적용되는 IHRA 반유대주의 정의의 구성 요소를 명시하도록 요구되었다.
• 주석자들은 사례별로 정의 적용에 대해 개인적으로 이견을 가질 수 있었으며, 이는 투명성 확보와 편향 감소에 기여했다.
• 2019년 1월부터 2021년 12월까지 대표성 있는 샘플에서 관련 关련 키워드를 사용해 트윗을 수집하였다.
• IHRA 정의에 따라 1,250건의 반유대주의 트윗(18%)이 포함되었으며, 나머지는 비반유대주의로 레이블링되었다.
• 표준화된 정의를 기반으로 한 구조화된 레이블링 방식을 통해 일관성과 명확성을 강조하는 주석 프로세스를 운영하였다.
• 자신들이 반유대주의가 아니지만 반유대주의를 보도하거나 논의하는 트윗을 포함시켜, 주석 프로세스를 보다 균형 있게 만들었다.

실험 결과

연구 질문

• RQ1 어떻게 주석 프로세스를 개선하여 반유대주의 콘텐츠에 대한 일관되고 신뢰할 수 있는 레이블링을 보장할 수 있는가?
• RQ2 유대인, 이스라엘 또는 히틀러의 유대인 학살을 다루는 트윗 중 실제로 IHRA 정의에 따라 반유대주의로 간주되는 비율은 얼마인가?
• RQ3 반유대주의와 관련된 내용을 다루지만 실제로는 반유대주의가 아닌 콘텐츠를 포함시키면 자동 반유대주의 발언 감지 시스템의 성능 향상에 기여할 수 있는가?
• RQ4 정의의 특정 구성 요소에 레이블을 부착하는 구조화된 주석 프로세스가 레이블링의 모호성을 얼마나 줄이는가?
• RQ5 2019–2021년 동안의 영어 트윗 데이터셋이 반유대주의적 및 비반유대주의적 논의의 전반적인 스펙트럼을 얼마나 잘 반영하고 있는가?

주요 결과

• 2019년 1월부터 2021년 12월까지 수집된 6,941건의 트윗이 모두 영어로 작성된 데이터셋이다.
• 이 중 1,250건(18%)이 IHRA 정의에 따라 반유대주의로 분류되었다.
• 주석 프로세스는 주석자들이 각 트윗에 적용되는 정의의 특정 구성 요소를 식별하도록 요구함으로써 IHRA 정의의 성공적인 적용을 보여주었다.
• 반유대주의가 아니지만 반유대주의를 다루거나 보도하는 트윗을 포함시킴으로써 자동 감지 시스템에서의 오진을 줄이는 데 기여했다.
• 비영어 콘텐츠를 제외하고 반유대주의와 관련된 주제의 일부만 포함하기 때문에 이 데이터셋은 종합적이지 않다.
• 한계가 있음에도 불구하고, 이 데이터셋과 주석 프레임워크는 반유대주의 발언 감지의 정확성과 일관성 향상에 의미 있는 기여를 한다.