[論文レビュー] Antisemitic Messages? A Guide to High-Quality Annotation and a Labeled Dataset of Tweets

Günther Jikeli, Sameer Karali+2 more|arXiv (Cornell University)|Apr 28, 2023

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本論文は、2019年1月から2021年12月にかけて収集された6,941件の英語ツイート（18%が反ユダヤ主義的）の高品質なアノテーションフレームワークとラベル付きデータセットを提示している。このフレームワークは、反ユダヤ主義の定義として国際ホロコースト委員会（IHRA）の定義を採用しており、定義の厳密な適用を促すために、アノテーターがどの部分が適用されたかを明示する必要がある。また、個人的な同意のないケースについても許容することで、自動検出における誤検出を低減している。

ABSTRACT

One of the major challenges in automatic hate speech detection is the lack of datasets that cover a wide range of biased and unbiased messages and that are consistently labeled. We propose a labeling procedure that addresses some of the common weaknesses of labeled datasets. We focus on antisemitic speech on Twitter and create a labeled dataset of 6,941 tweets that cover a wide range of topics common in conversations about Jews, Israel, and antisemitism between January 2019 and December 2021 by drawing from representative samples with relevant keywords. Our annotation process aims to strictly apply a commonly used definition of antisemitism by forcing annotators to specify which part of the definition applies, and by giving them the option to personally disagree with the definition on a case-by-case basis. Labeling tweets that call out antisemitism, report antisemitism, or are otherwise related to antisemitism (such as the Holocaust) but are not actually antisemitic can help reduce false positives in automated detection. The dataset includes 1,250 tweets (18%) that are antisemitic according to the International Holocaust Remembrance Alliance (IHRA) definition of antisemitism. It is important to note, however, that the dataset is not comprehensive. Many topics are still not covered, and it only includes tweets collected from Twitter between January 2019 and December 2021. Additionally, the dataset only includes tweets that were written in English. Despite these limitations, we hope that this is a meaningful contribution to improving the automated detection of antisemitic speech.

研究の動機と目的

• 反ユダヤ主義に関連する偏見のあるメッセージと偏見のないメッセージを幅広くカバーする一貫したラベル付けがなされたデータセットが不足しているという問題に対処すること。
• 反ユダヤ主義的発言の自動検出における誤検出を低減するために、反ユダヤ主義的発言について議論する、ホロコーストについて語る、またはイスラエルについて言及するが反ユダヤ主義的ではないツイートを含めること。
• IHRA反ユダヤ主義定義への準拠を強制する構造化されたラベリングを通じて、厳密なアノテーションプロセスを構築すること。
• 2019年から2021年の期間に限定された英語ツイートの、代表的でトピックに多様性を持つデータセットを作成すること。
• 再現可能性と一貫性を支援する高品質なアノテーションのための方法論的ガイドラインを貢献すること。

提案手法

• アノテーターは、各ツイートに対してIHRA反ユダヤ主義定義のどの部分が適用されたかを明示する必要があった。
• アノテーターは、個別のケースについて定義の適用に個人的に反対する選択肢を有しており、透明性を確保するとともにバイアスを低減した。
• ツイートは、2019年1月から2021年12月の代表的サンプルから、関連キーワードを用いて収集された。
• データセットには、IHRA定義に基づき1,250件（18%）の反ユダヤ主義的ツイートが含まれており、残りは非反ユダヤ主義的とラベル付けされた。
• 標準化された定義に基づく構造化されたラベリングを通じて、一貫性と明確性を重視したアノテーションプロセスが実施された。
• データセットは、反ユダヤ主義を報告・批判・議論するが、自らが反ユダヤ主義的ではないツイートを含めるようにキュレートされた。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、反ユダヤ主義的コンテンツのラベル付けを一貫的かつ信頼性高く行えるようにアノテーションプロセスを改善できるか？
• RQ2 ユダヤ人、イスラエル、またはホロコーストについて言及するツイートのうち、実際にIHRA定義に基づいて反ユダヤ主義的とされる割合はどの程度か？
• RQ3 反ユダヤ主義的関連コンテンツ（ただし反ユダヤ主義的ではない）を含めることで、自動反ユダヤ主義的発言検出システムの性能が向上するか？
• RQ4 定義の各要素にラベルを結びつける構造化されたアノテーションプロセスは、ラベル付けの曖昧さをどの程度低減できるか？
• RQ5 2019年から2021年の英語ツイートのデータセットは、反ユダヤ主義的および非反ユダヤ主義的議論の全範囲を的確に反映していると言えるか？

主な発見

• データセットには、2019年1月から2021年12月にかけて収集された6,941件のツイートが含まれており、すべて英語で記述されている。
• そのうち1,250件（18%）がIHRA定義に基づき反ユダヤ主義的と分類された。
• アノテーションプロセスは、各ツイートに対して定義のどの具体的な要素が適用されたかを特定する必要があったため、IHRA定義の正確な適用に成功した。
• 反ユダヤ主義的ではないが反ユダヤ主義に関連する内容を含むツイートの統合により、自動検出システムにおける誤検出が低減された。
• データセットは包括的ではない。非英語コンテンツが除外されており、反ユダヤ主義に関連するトピックの一部しかカバーしていない。
• 制限はあるものの、本データセットとアノテーションフレームワークは、反ユダヤ主義的発言検出の正確性と一貫性を向上させる上で有意義な貢献を果たしている。