[論文レビュー] Annotating for Hate Speech: The MaNeCo Corpus and Some Input from Critical Discourse Analysis

Stavros Assimakopoulos, Rebecca Vella Muskat+2 more|arXiv (Cornell University)|Aug 14, 2020

Hate Speech and Cyberbullying Detection参考文献 54被引用数 10

ひとこと要約

本稿では、マルタ語オンライン新聞のコメントにおける抑圧的ディス course 分析を背景に、ユーザー生成Webコンテンツにおける嫌がらせ発言検出のためのマルチレイヤー分類スキームを提案する。『嫌がらせ発言』を直接ラベル付けするのではなく、差別的ディス course 要素と標的を焦点にすることで、二値分類に比べてより高いアノテーター間一貫性を達成し、NLPモデルにおける嫌がらせ発言検出の訓練に、より信頼性の高い基盤を提供する。

ABSTRACT

This paper presents a novel scheme for the annotation of hate speech in corpora of Web 2.0 commentary. The proposed scheme is motivated by the critical analysis of posts made in reaction to news reports on the Mediterranean migration crisis and LGBTIQ+ matters in Malta, which was conducted under the auspices of the EU-funded C.O.N.T.A.C.T. project. Based on the realization that hate speech is not a clear-cut category to begin with, appears to belong to a continuum of discriminatory discourse and is often realized through the use of indirect linguistic means, it is argued that annotation schemes for its detection should refrain from directly including the label 'hate speech,' as different annotators might have different thresholds as to what constitutes hate speech and what not. In view of this, we suggest a multi-layer annotation scheme, which is pilot-tested against a binary +/- hate speech classification and appears to yield higher inter-annotator agreement. Motivating the postulation of our scheme, we then present the MaNeCo corpus on which it will eventually be used; a substantial corpus of on-line newspaper comments spanning 10 years.

研究の動機と目的

• アノテーター間の主観的閾値のばらつきが原因で生じる嫌がらせ発言分類の不整合を是正すること。
• マルタのような多言語的・コードスイッチングが顕著な文脈におけるWeb 2.0ユーザー生成コンテンツに適した、より信頼性の高い分類フレームワークを開発すること。
• 10年間にわたるマルタ語新聞のコメントを含む高品質なマルチアノテートドコーパス（MaNeCo）を構築し、嫌がらせ発言研究に活用すること。
• 言語的特徴が、移住者とLGBTIQ+コミュニティといった異なる標的集団に対してどのように変化するかを解明すること。
• アノテートされた標的を基にドメイン固有の訓練データ選択を可能にすることで、将来的なトランスファー学習を支援すること。

提案手法

• 嫌がらせ発言の直接ラベル付けを避けるために、差別的ディス course の検出と分類を分離するマルチレイヤー分類スキームを設計し、主観性を低減すること。
• マルタの新聞記事のオンラインコメント100件（移住者およびLGBTIQ+問題に関するもの）をピロットデータセットとして、標的集団、ディス course 形式、言語的マーカーについてアノテートする。
• 批判的ディス course 分析（CDA）を活用し、嫌がらせ発言に潜む間接的でイデオロギー色の強い言語パターンを特定する。
• 二値分類の嫌がらせ発言検出と比較して、アノテーター間一貫性と信頼性を評価するため、スキームのピロットテストを実施する。
• コードスイッチングや非標準表記が顕著な10年分のマルタ語オンライン新聞コメント（MaNeCoコーパス）を、分類フレームワークのテストベッドとして活用する。
• マルチレイヤー分類と二値分類の両アプローチにおけるアノテーター間一貫性スコアを比較することで、スキームの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー分類スキームは、二値分類の嫌がらせ発言検出に比べて、アノテーター間一貫性をどのように向上させるか？
• RQ2 オンラインコメントにおいて、移住者を標的にした嫌がらせ発言とLGBTIQ+コミュニティを標的にした嫌がらせ発言の、言語的・ディス course 的特徴の違いは何か？
• RQ3 批判的ディス course 分析は、より信頼性の高い嫌がらせ発言分類スキームの設計に、どの程度寄与できるか？
• RQ4 マルチレベル分類フレームワークは、異なるドメイン間で嫌がらせ発言検出のためのより効果的なトランスファー学習を可能にするか？
• RQ5 間接的でイデオロギー色の強い表現は、嫌がらせ発言として明示的にラベル付けされていなくても、どのように差別的ディス course を促進するか？

主な発見

• マルチレイヤー分類スキームは、二値分類に比べてより高いアノテーター間一貫性を示し、差別的ディス course のラベル付けにおける信頼性の向上を示している。
• アノテーターは、発言が『嫌がらせ発言』かどうかを直接判断するのではなく、特定のディス course 特徴や標的に注目することで、より一貫性を示した。
• ピロット研究では、明確な言語的パターンが明らかになった：移住者に対しては「侵入」や「危険」「不遜な者」といった比喩が用いられ、LGBTIQ+の人々に対しては「罪深い者」や「異常」といった道徳的・聖書的比喩が使われていた。
• 10年間にわたるマルタ語オンライン新聞コメントを含むMaNeCoコーパスには、顕著なコードスイッチングと非標準表記が多数含まれており、現実のWebデータが直面する課題を反映している。
• 嫌がらせ発言は差別的ディス course の連続体に位置し、しばしば間接的に表現されるため、単純な二値ラベルでは不十分であり、より洗練された分類が不可欠であることが確認された。
• 提案されたスキームにより、ドメイン固有のデータ選択が可能となり、たとえば人種差別、性別差別、ホモフォビアなど、さまざまな種類の嫌がらせ発言に対するトランスファー学習のパフォーマンス向上が期待できる。