[論文レビュー] Placing M-Phasis on the Plurality of Hate: A Feature-Based Corpus of Hate Online

Dana Ruiter, Liane Reiners+7 more|arXiv (Cornell University)|Apr 28, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

この論文では、移民関連のニュース記事に付随する約9,000件のドイツ語およびフランス語のユーザーコメントから構成され、二値の嫌がらせ/ニュートラルラベルではなく、23の洗練された嫌がらせ特徴を含む多言語的・特徴ベースのコーパス、M-Phasisを紹介する。このコーパスにより、明示的・暗黙的表現を含む嫌がらせの種類の微細な分析が可能となり、主流メディアとフェイントメディアの間で顕著なドメイン差が生じ、分類器の性能に影響を与えることが明らかになった——特に未代表的なフェイントメディアコンテンツでは顕著である。

ABSTRACT

Even though hate speech (HS) online has been an important object of research in the last decade, most HS-related corpora over-simplify the phenomenon of hate by attempting to label user comments as "hate" or "neutral". This ignores the complex and subjective nature of HS, which limits the real-life applicability of classifiers trained on these corpora. In this study, we present the M-Phasis corpus, a corpus of ~9k German and French user comments collected from migration-related news articles. It goes beyond the "hate"-"neutral" dichotomy and is instead annotated with 23 features, which in combination become descriptors of various types of speech, ranging from critical comments to implicit and explicit expressions of hate. The annotations are performed by 4 native speakers per language and achieve high (0.77 <= k <= 1) inter-annotator agreements. Besides describing the corpus creation and presenting insights from a content, error and domain analysis, we explore its data characteristics by training several classification baselines.

研究の動機と目的

• 既存のコーパスが嫌がらせ（HS）を単純化し、しばしば二値の嫌がらせ/ニュートラルラベルに還元している問題に対処すること。
• オンライン嫌がらせの複雑さと文脈依存性を捉える高品質な多言語コーパスを構築すること、特に暗黙の表現を含むこと。
• ドイツ語およびフランス語のさまざまなニュース出先からのコメントを含めることで、文化的およびメディア的比較を可能にすること。
• 豊富で多次元的なアノテーションを提供することで、より強固で文脈に敏感な嫌がらせ分類器の開発を支援すること。
• 主流メディアとフェイントメディアの出先からのユーザーコメントにおけるドメインバイアスを定量化し、モデルの汎化性能に与える影響を明らかにすること。

提案手法

• トピックの関連性を保証するためにキーワードベースのフィルタリング（正規表現）を用いて、移民関連のニュース記事からのユーザーコメントを収集し、スラーやリストに依存しない。
• 23の異なる嫌がらせ関連特徴（否定的/肯定的評価、グループ対比、感情表現など）を含む特徴ベースのアノテーションスキームを策定。
• 各コメントは言語ごとに4名のネイティブスピーカーがアノテートし、高いアノテータ間一貫性（カッパ ≥ 0.77）を達成。
• 会話的文脈を保持するために、完全なコメントスレッドをコーパスに含め、文脈に依存する分析を可能に。
• 23の特徴から導出される複数のサブタスクを対象に、BERTベースのモデル（中間のマスク言語モデル化（MLM）を含む・含まないを含む）を用いて分類器のベースラインを訓練。
• ドメインの違いは、ユニバーサル文書エンベッディング（USE）とコサイン類似度を用いて定量化され、K-Meansを用いたクラスタリングで主流メディアとフェイントメディアの分離が妥当であることが検証された。

実験結果

リサーチクエスチョン

• RQ1 ドイツ語およびフランス語のメディアにおける移民関連のオンラインディス course において、明示的・暗黙的・批判的・感情的表現といった異なる種類の嫌がらせは、どのように現れるか？
• RQ2 メディア出先の政治的傾向（主流 vs. フェイント）が、ユーザーコメントの言語的および感情的プロファイルにどの程度影響を及えるか？
• RQ3 訓練データにおけるドメインバイアス（例：主流メディアの過剰代表）が、未代表的なメディアタイプにおける嫌がらせ分類器の性能にどのように影響を及えるか？
• RQ4 中間のマスク言語モデル化（MLM）の事前学習が、多様なメディアドメインにわたる嫌がらせ分類器の汎化性能に与える影響は何か？
• RQ5 実世界のオンラインディスコースにおいて、嫌がらせの23の特徴次元は、どのように互いに相関しているか？

主な発見

• M-Phasisコーパスには、ドイツ語およびフランス語で約9,000件のユーザーコメントが含まれ、多様なニュース出先から収集され、23の嫌がらせ関連特徴でアノテートされており、高いアノテータ間一貫性（カッパ ≥ 0.77）を達成している。
• ドイツ語データでは、フェイントメディアのコメントに対する分類器のパフォーマンスが、主流メディアのコメントよりも顕著に低く、特に中間のMLM事前学習を用いた微調整モデルでは、ドメインバイアスの伝搬が顕著に見られた。
• ドイツ語のコメントデータでは、ドメインの分離が強く現れ、77.2％のコメントが主流メディアから来ており、未代表的なフェイントメディアコンテンツにおけるモデルの汎化性能に悪影響を与えるデータの不均衡が生じていた。
• フランス語では、三つに分かれたドメイン構造（フェイント、主流、知的）が現れ、55.5％のコメントが主流または知的メディアから来ており、ドイツ語に比べてメディアの分布がよりバランスが取れていた。
• K-Meansを用いたドイツ語コメントのエンベッディング（k=2）のクラスタリングは、手動による主流/フェイントの区別を完璧に再現した。これにより、言語的差がメディア出先のタイプと一致することが確認された。
• 誤差分析から、モデルは暗黙の嫌がらせや繊細な評価的言語を含むサブタスクで特に困難を示しており、明示的なスラーよりも洗練された嫌がらせを捉えることの難しさが浮き彫りになった。