[論文レビュー] Countering Online Hate Speech: An NLP Perspective

Mudit Chaudhary, Chandni Saxena+1 more|arXiv (Cornell University)|Sep 7, 2021

Hate Speech and Cyberbullying Detection参考文献 67被引用数 10

ひとこと要約

本論文は、オンラインの憎悪表現に対処する包括的なNLPフレームワークを提示し、対策を予防的（事前防止）および反応的（検出・干渉）アプローチに分類する。倫理的・法的・技術的課題を特定し、将来的な研究のためのチェックリストを提示することで、より信頼性が高く、プライバシーを尊重するシステムの構築を促進する。

ABSTRACT

Online hate speech has caught everyone's attention from the news related to the COVID-19 pandemic, US elections, and worldwide protests. Online toxicity - an umbrella term for online hateful behavior, manifests itself in forms such as online hate speech. Hate speech is a deliberate attack directed towards an individual or a group motivated by the targeted entity's identity or opinions. The rising mass communication through social media further exacerbates the harmful consequences of online hate speech. While there has been significant research on hate-speech identification using Natural Language Processing (NLP), the work on utilizing NLP for prevention and intervention of online hate speech lacks relatively. This paper presents a holistic conceptual framework on hate-speech NLP countering methods along with a thorough survey on the current progress of NLP for countering online hate speech. It classifies the countering techniques based on their time of action, and identifies potential future research areas on this topic.

研究の動機と目的

• コロナ禍や選挙など世界的な危機期におけるオンライン憎悪表現の増加という挑戦に応えること。
• 検出を越えて、予防や干渉にまで及ぶNLP研究の不足が、重要な研究ギャップであることを特定すること。
• 行動のタイミング（予防的 vs. 反応的）と倫理的影響に基づいて、憎悪表現対策を分類する概念的フレームワークを構築すること。
• 自動化されたモデレーションにおけるプライバシー侵害、バイアス、表現の自由とのトレードオフといった倫理的懸念を浮き彫りにすること。
• 倫理的・法的・技術的配慮を盛り込んだチェックリストを提供することで、将来の研究を導くこと。

提案手法

• 憎悪表現対策を、投稿前に憎悪表現を防ぐ予防的（プロアクティブ）および投稿後に検出・干渉する反応的（リアクティブ）方法に分類する。
• 介入の文脈を明確化するため、発信者（コンテンツ作成者）、モデレーター（プラットフォームシステム）、消費者（閲覧者）の3役モデルを提案する。
• 身元に基づく標的化やオンライン匿名性などの憎悪表現の原因を、それに対応するNLP技術にマッピングする概念的フレームワークを導入する。
• フェデレーテッドラーニングなどのプライバシー保護技術を強調し、予防的システムにおける監視リスクを低減する。
• 既存のベンチマークデータセット（例：Fortunaら, 2020; Qianら, 2019）を活用して、検出および干渉モデルを実装する。
• Kiritchenko ら（2020）のインスピレーションを受けて、公平性、透明性、説明責任性を評価する倫理的チェックリストを統合する。

実験結果

リサーチクエスチョン

• RQ1 NLPを活用して、投稿前にオンライン憎悪表現を予防的に防止する方法は何か。そのようなシステムの倫理的影響は何か。
• RQ2 予防的および反応的憎悪表現対策の間で、有効性、バイアス、プライバシーへの影響にどのような違いがあるか。
• RQ3 NLPシステムは、有害なオンラインコンテンツを抑える必要と表現の自由の両立をどのように調整できるか。
• RQ4 自動化された憎悪表現検出および干渉において、監視や差別を防ぐために必要な技術的・倫理的ガードレールは何か。
• RQ5 将来のNLP研究は、憎悪表現対策の設計段階から倫理的配慮をどのように統合できるか。

主な発見

• 投稿後の検出といった反応的対策は、表現の自由に対する懸念がやや低いが、可視性の高さから被害が拡大するまでの遅延があるため、問題が生じやすい。
• 投稿前に憎悪表現を予測する予防的対策は、ユーザーの属性に基づくアルゴリズムバイアスやプライバシー侵害といった、より高い倫理的リスクを伴う。
• 憎悪表現の普遍的定義が存在しないため、法的適用やモデルの学習が複雑化し、文脈依存的かつ主観的な結果を生じがちである。
• コンテンツモデレーターは、画像を伴う憎悪表現に長時間さらされることで、PTSDを含む深刻な精神的健康リスクにさらされるため、自動化されたNLPソリューションの必要性が浮き彫りになる。
• Facebookは2020年Q1に1000万件の憎悪表現を削除したが、これにより問題の規模が明確になり、スケーラブルなNLPベースのモデレーションの必要性が強調される。
• 倫理的チェックリストを基盤にした、予防的および反応的対策を組み合わせたハイブリッドアプローチは、被害を低減しつつ、検閲や監視といった不測の結果を最小限に抑えることができる。