[論文レビュー] Thou shalt not hate: Countering Online Hate Speech

Binny Mathew, Hardik Tharad+5 more|arXiv (Cornell University)|Jan 1, 2018

Hate Speech and Cyberbullying Detection参考文献 21被引用数 27

ひとこと要約

この論文は、YouTubeからのカウンタースピーチコメントの最初の大規模で手作業でアノテートされたデータセットを紹介し、カウンタースピーチの最初のきめ細やかな言語的分析を可能にしている。F1スコア0.71でカウンタースピーチを検出する機械学習モデルと、F1スコア0.60でマルチラベルタイプを検出するモデルを提案しており、カウンタースピーチのダイナミクス、有効性、および嫌がらせ発言とは異なる心理言語的差異に関する重要な知見を明らかにしている。

ABSTRACT

Hate content in social media is ever-increasing. While Facebook, Twitter, Google have attempted to take several steps to tackle the hateful content, they have mostly been unsuccessful. Counterspeech is seen as an effective way of tackling the online hate without any harm to the freedom of speech. Thus, an alternative strategy for these platforms could be to promote counterspeech as a defense against hate content. However, in order to have a successful promotion of such counterspeech, one has to have a deep understanding of its dynamics in the online world. Lack of carefully curated data largely inhibits such understanding. In this paper, we create and release the first ever dataset for counterspeech using comments from YouTube. The data contains 13,924 manually annotated comments where the labels indicate whether a comment is a counterspeech or not. This data allows us to perform a rigorous measurement study characterizing the linguistic structure of counterspeech for the first time. This analysis results in various interesting insights such as: the counterspeech comments receive much more likes as compared to the non-counterspeech comments, for certain communities majority of the non-counterspeech comments tend to be hate speech, the different types of counterspeech are not all equally effective and the language choice of users posting counterspeech is largely different from those posting non-counterspeech as revealed by a detailed psycholinguistic analysis. Finally, we build a set of machine learning models that are able to automatically detect counterspeech in YouTube videos with an F1-score of 0.71. We also build multilabel models that can detect different types of counterspeech in a comment with an F1-score of 0.60.

研究の動機と目的

• YouTube、Facebook、Twitterなどのソーシャルメディアプラットフォームにおけるオンライン嫌がらせの増加する課題に対処すること。
• 自由な発言を抑圧しない非検閲戦略としてのカウンタースピーチを研究するための整備されたデータの不足を克服すること。
• カウンタースピーチの有無をラベル付けした、最初の大規模で手作業でアノテートされたYouTubeコメントデータセットの作成と公開。
• 構造的・行動的ダイナミクスを理解するために、カウンタースピーチの包括的な言語的および心理言語的分析を実施すること。
• オンラインコメントにおいてカウンタースピーチおよびそのタイプを自動検出できる機械学習モデルの開発。

提案手法

• 13,924件のYouTubeコメントを収集・手作業でアノテートし、最初の公開用カウンタースピーチデータセットを構築。
• 言語的および心理言語的分析を適用し、カウンタースピーチコメントと非カウンタースピーチコメントにおける言語使用の違いを比較。
• 語彙的・構文的・感情的特徴に基づく特徴量を用いて、教師あり機械学習モデルを訓練。
• カウンタースピーチ対非カウンタースピーチを分類するバイナリ分類器と、カウンタースピーチの異なるタイプを分類するマルチラベル分類器の両方を開発。
• 標準的な自然言語処理指標（F1スコアなど）を用いて、アノテート済みデータセット上でモデルを評価。
• 統計的分析を用いて、カウンタースピーチコメントと非カウンタースピーチコメントの間でのエンゲージメント（いいね数）およびコンテンツパターンの差を比較。

実験結果

リサーチクエスチョン

• RQ1 YouTubeのコメントにおいて、カウンタースピーチと非カウンタースピーチのコメントを区別する言語的および心理言語的特徴は何か？
• RQ2 カウンタースピーチコメントのエンゲージメント（例：いいね数）は、非カウンタースピーチコメントと比べてどのように異なるか？
• RQ3 オンラインコミュニティにおいて、嫌がらせ発言を是正するために最も効果的なカウンタースピーチのタイプは何か？
• RQ4 カウンタースピーチを投稿するユーザーの言語パターンは、嫌がらせ発言を投稿するユーザーのそれとどのように異なるか？
• RQ5 機械学習モデルは、実際のYouTubeコメント欄において、カウンタースピーチおよびそのサブタイプをどれほど正確に検出できるか？

主な発見

• カウンタースピーチコメントは非カウンタースピーチコメントよりも有意に多いいいねを得ており、ユーザーの関与が高く、価値があると認識されていることが示唆されている。
• 特定のオンラインコミュニティでは、非カウンタースピーチコメントの大多数が嫌がらせ発言に分類されており、有毒な発言の広がりが顕著であることが浮き彫りになった。
• カウンタースピーチのタイプは均等に効果的ではなく、応答スタイルの戦略的変化が影響力を高める可能性がある。
• 心理言語的分析により、カウンタースピーチ投稿者と非カウンタースピーチ投稿者との間で、特に感情的トーンと語彙的複雑さの面で顕著な言語使用パターンの違いが明らかになった。
• バイナリ分類器は、F1スコア0.71でカウンタースピーチを検出でき、新規データセット上で優れた性能を示した。
• カウンタースピーチのタイプを分類するマルチラベル分類器は、F1スコア0.60を達成しており、洗練された応答タイプの検出は可能ではあるが、依然として挑戦的であることが示された。