[論文レビュー] Analyzing the hate and counter speech accounts on Twitter

Binny Mathew, N. Ravi Kumar+3 more|arXiv (Cornell University)|Dec 6, 2018

Hate Speech and Cyberbullying Detection参考文献 32被引用数 58

ひとこと要約

本研究は、Twitter上の憎悪ツイートとカウンターソース返信のデータセットを構築し、言語学的・心理言語学的特徴を分析し、憎悪アカウントとカウンターアカウントをプロファイリングし、憎悪アカウントとカウンターアカウントを区別する0.78のF1（78%の精度）を達成する分類器を訓練する。

ABSTRACT

The online hate speech is proliferating with several organization and countries implementing laws to ban such harmful speech. While these restrictions might reduce the amount of such hateful content, it does so by restricting freedom of speech. Thus, an promising alternative supported by several organizations is to counter such hate speech with more speech. In this paper, We analyze hate speech and the corresponding counters (aka counterspeech) on Twitter. We perform several lexical, linguistic and psycholinguistic analysis on these user accounts and obverse that counter speakers employ several strategies depending on the target community. The hateful accounts express more negative sentiments and are more profane. We also find that the hate tweets by verified accounts have much more virality as compared to a tweet by a non-verified account. While the hate users seem to use words more about envy, hate, negative emotion, swearing terms, ugliness, the counter users use more words related to government, law, leader. We also build a supervised model for classifying the hateful and counterspeech accounts on Twitter and obtain an F-score of 0.77. We also make our dataset public to help advance the research on hate speech.

研究の動機と目的

• Twitter上でのヘイトスピーチをブロックする代替手段としてカウンターソースを動機づけ、研究する。
• 分析とモデリングのために憎悪ツイートとそれに対するカウンターソース返信のデータセットを作成する。
• 活動・語彙・性格・話題の次元にわたって憎悪アカウントとカウンターソースアカウントを特徴づける。
• 憎悪アカウントとカウンターソースアカウントを自動的に識別する予測モデルを開発する。
• ターゲットコミュニティとプラットフォームのダイナミクスごとにカウンターソース戦略がどのように異なるかに関する洞察を提供する。

提案手法

• 558件の憎悪ツイートに対する1290件のカウンターソース返信のデータセットを作成し、1239アカウントから1290件のカウンターソース返信、548アカウントから558件の憎悪ツイートを得る。
• ツイートに憎悪内容を識別し、カウンターソースを事前定義カテゴリに分類する注釈を付ける（アノテータ間の一致指標を用いる）。
• 語彙・感情・露骨な表現・心理言語学的特徴を抽出・分析する（例：Empathカテゴリー、IBM Watson性格特性）。
• 各アカウントについて3200ツイート履歴からユーザー水準の特徴を構築する（TF-IDF、プロフィール指標、語彙/感情特徴）。
• 複数の分類器（SVM、LR、RF、ET、XGBoost、CatBoost）を訓練・評価し、憎悪アカウントとカウンターソースアカウントを区別する。最良はCatBoostを選択。
• TF-IDF、語彙、および感情特徴の寄与を評価する特徴量アブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 Twitter上の憎悪アカウントとカウンターソースアカウントの語彙・感情・心理言語学的差異は何か？
• RQ2 カウンターソース戦略は、ターゲットとなるコミュニティ（例：宗教・ nationality・民族・性指向）ごとにどのように異なるか？
• RQ3 アカウントレベルの特徴は、憎悪アカウントとカウンターソースアカウントを確実に識別できるか、予測に最も寄与する特徴はどれか？
• RQ4 憎悪アカウントとカウンターソースアカウントを区別する話題関心と性格特性は何か？

主な発見

Model	Precision	Recall	F-score	Accuracy
LR + TFIDF	0.68	0.68	0.68	0.68
SVM	0.64	0.63	0.62	0.63
LR	0.66	0.66	0.66	0.66
ET	0.72	0.70	0.69	0.70
RF	0.72	0.72	0.72	0.72
XGB	0.74	0.74	0.74	0.74
CB	0.83	0.78	0.77	0.78

• 558件の憎悪ツイートに対して1290件のカウンターソース返信が観測され、カウンターソースは返信の75.39%を占めた。
• 最良の分類器（CatBoost）は、憎悪アカウントとカウンターソースアカウントを区別する際に78%の精度（F1 0.77）を達成；XGBoostは74%の精度を達成。
• 憎悪アカウントは年齢が高く、より人気があり、フォロワーが多い傾向があり、カウンターソースアカウントは1日あたりの友だちが多い。
• 認証済みアカウントからの憎悪ツイートは、非認証憎悪ツイートより拡散性が高く、認証済みの憎悪アカウントはエンゲージメント指標が大幅に高かった。
• 語彙分析では、憎悪アカウントは羨望・憎悪・ネガティブ感情・罵倒語を多く使用する一方、カウンターソースアカウントは政府・法・指導力に関連する語を多く使用することを示す。Empathと性格分析では、カウンター発言者は協調性が高く、憎悪アカウントは外向性が高いことを示す。
• 話題分析では、カウンターソースは政治・ニュース・ジャーナリズムに焦点を当てる一方、憎悪アカウントは人種差別的な蔑称などの話題に集中する。