[論文レビュー] Characterizing and Detecting Hateful Users on Twitter

Manoel Horta Ribeiro, Pedro Calais+3 more|arXiv (Cornell University)|Mar 23, 2018

Hate Speech and Cyberbullying Detection被引用数 64

ひとこと要約

本稿はユーザー中心のグラフベース手法を用いて憎悪的なTwitterユーザーを特徴づけ、リツイートグラフ上の半教師ありノード埋め込みがコンテンツベースの手法を上回り、憎悪表現を含むユーザーおよび停止されたユーザーの検出において優位であることを示す。

ABSTRACT

Most current approaches to characterize and detect hate speech focus on extit{content} posted in Online Social Networks. They face shortcomings to collect and annotate hateful speech due to the incompleteness and noisiness of OSN text and the subjectivity of hate speech. These limitations are often aided with constraints that oversimplify the problem, such as considering only tweets containing hate-related words. In this work we partially address these issues by shifting the focus towards extit{users}. We develop and employ a robust methodology to collect and annotate hateful users which does not depend directly on lexicon and where the users are annotated given their entire profile. This results in a sample of Twitter's retweet graph containing $100,386$ users, out of which $4,972$ were annotated. We also collect the users who were banned in the three months that followed the data collection. We show that hateful users differ from normal ones in terms of their activity patterns, word usage and as well as network structure. We obtain similar results comparing the neighbors of hateful vs. neighbors of normal users and also suspended users vs. active users, increasing the robustness of our analysis. We observe that hateful users are densely connected, and thus formulate the hate speech detection problem as a task of semi-supervised learning over a graph, exploiting the network of connections on Twitter. We find that a node embedding algorithm, which exploits the graph structure, outperforms content-based approaches for the detection of both hateful ($95\%$ AUC vs $88\%$ AUC) and suspended users ($93\%$ AUC vs $88\%$ AUC). Altogether, we present a user-centric view of hate speech, paving the way for better detection and understanding of this relevant and challenging issue.

研究の動機と目的

• 語彙に依存したサンプリングに頼らず、憎悪的なユーザーを収集・注釈するプロセスを開発する。
• 活動、語彙、およびネットワーク構造の観点で憎悪的ユーザーと通常のユーザーを特徴づける。
• 近傍・サスペンション信号を、検出精度を高めるための憎悪コンテンツの代理指標として探索する。
• ユーザー単位の特徴を用いたグラフベースの半教師あり学習によるヘイトスピーチ検出を評価する。

提案手法

• ユーザー数100,386、1ユーザーあたり最大200ツイートで、Twitterのリツイートグラフをランダムウォークに基づくサンプルとして構築する。
• 憎悪関連語彙を使用したユーザーを種として特定し、グラフ全体へ信念を拡散させる拡散過程を適用する。
• 拡散由来の信念に基づく層化サンプリングを用いて、憎悪的かどうかのクラウドソーシング注釈のために4,972人のユーザーをサブサンプリングする。
• 全プロフィールの文脈を用いて、クラウドソーシングで憎悪的または通常と注釈する。
• 憎悪的／通常／近隣ユーザー／停止済み/アクティブなユーザー間で、活動、語彙、ネットワーク中心性の差を分析する。
• ユーザー特徴とGloVeベースのテキスト特徴を用いた伝統的モデルと比較して、ノード埋め込みベースの検出（GraphSage）を評価する。

実験結果

リサーチクエスチョン

• RQ1 憎悪的なユーザーは、活動、語彙、ネットワーク構造の点で通常のユーザーと異なるか。
• RQ2 近傍信号とサスペンション信号は、Twitterのヘイトスピーチの代理指標として機能するか。
• RQ3 グラフベースの半教師あり学習アプローチは、コンテンツのみの方法に比べて、憎悪的および停止済みユーザーの検出を改善するか。
• RQ4 Twitterのガイドライン変更は、憎悪／停止アカウントの禁止とどのように関連しているか。
• RQ5 リツイートネットワーク構造は、コンテンツ特徴を超えて、ヘイトスピーチ検出に有用か。

主な発見

• 憎悪的ユーザーは通常のユーザーより活動的で、1日あたりのフォロー数が多く、アカウントも新しい。
• 憎悪的ユーザーは、リツイートネットワーク上で通常のユーザーより密に接続され、中心性が高い。
• 憎悪的ユーザーは非自明な語彙を使用し、愛情や男性性に関連する語が多く、憎悪や怒りに関連する語は通常より少ない。
• リツイートグラフ上のノード埋め込みとユーザー特徴およびGloVeを組み合わせた手法が最高の性能を達成（憎悪検出でAUCは最大95.4、停止検出で93.3）。
• GraphSageベースの半教師あり埋め込みは、コンテンツ特徴だけを用いたGradBoostおよびAdaBoostを上回り、両方の検出タスクで優れる。