[論文レビュー] Mean Birds: Detecting Aggression and Bullying on Twitter

Despoina Chatzakou, Nicolas Kourtellis+4 more|arXiv (Cornell University)|Feb 22, 2017

Hate Speech and Cyberbullying Detection被引用数 76

ひとこと要約

本論文は、テキスト、ユーザー、ネットワーク特徴を抽出し機械学習モデルを訓練することによって Twitter でのいじめと攻撃性を検出するスケーラブルなパイプラインを提示し、1.6M ツイートコーパスで高い検出性能を達成します。

ABSTRACT

In recent years, bullying and aggression against users on social media have grown significantly, causing serious consequences to victims of all demographics. In particular, cyberbullying affects more than half of young social media users worldwide, and has also led to teenage suicides, prompted by prolonged and/or coordinated digital harassment. Nonetheless, tools and technologies for understanding and mitigating it are scarce and mostly ineffective. In this paper, we present a principled and scalable approach to detect bullying and aggressive behavior on Twitter. We propose a robust methodology for extracting text, user, and network-based attributes, studying the properties of cyberbullies and aggressors, and what features distinguish them from regular users. We find that bully users post less, participate in fewer online communities, and are less popular than normal users, while aggressors are quite popular and tend to include more negativity in their posts. We evaluate our methodology using a corpus of 1.6M tweets posted over 3 months, and show that machine learning classification algorithms can accurately detect users exhibiting bullying and aggressive behavior, achieving over 90% AUC.

研究の動機と目的

• Twitter でのサイバーヘイトと攻撃性を検出する必要性を動機づけ、ユーザー間の特徴を理解する。
• テキスト、ユーザー、ネットワーク特徴を組み合わせてラベリングと検出を行うスケーラブルな方法論を開発する。
• クラウドソーシングによる ground truth を作成し、大規模な Twitter データで機械学習分類器を評価する。

提案手法

• Streaming API を介して Twitter データを収集し、 sampling のためのランダムベースラインと hate 関連のツイートセットを構築する。
• ユーザーのツイートのバッチから、ユーザー、テキスト、ネットワークのカテゴリに跨る 30 の特徴を抽出する。
• クラウドソーシングを用いて、バッチツイートに基づきユーザーを normal、bully、aggressor、spammer のいずれかにラベル付けする。
• セッション化を適用して、文脈分析のためにツイートを時間ベースのセッションにグループ化する。
• ground truth ラベルを用いて機械学習分類器（例：Random Forests）を訓練・評価する。
• 進化する行動へ適応するためのスケーラビリティのオプションとオンライン更新を検討する。

実験結果

リサーチクエスチョン

• RQ1 テキスト、ユーザー、ネットワークのマルチモーダル特徴セットは、Twitter 上のいじめっ子や aggressor を normal ユーザーと効果的に区別できるのか。
• RQ2 いじめっ子、 aggressor、spammer、normal ユーザーの活動、内容、ネットワーク位置の行動的・構造的差異は何か。
• RQ3 大規模な Twitter コーパスで攻撃的およびいじめ的なユーザーを検出する際、機械学習モデルの性能はどの程度か。
• RQ4 ネットワークベースの属性はテキストベースの属性よりも攻撃的行動の検出に有意か。

主な発見

• いじめっ子は全体的な投稿が少なく、オンラインコミュニティへの参加も少ない。一方、 aggressor は相対的に人気が高く、投稿はより否定的になる傾向がある。
• ネットワークベースの特徴は攻撃的行動を検出する際に非常に効果的であり、分類時に一部のテキストベースの特徴を上回る。
• 本研究の分類器は評価データで最大 0.907 の重み付き AUC、0.899 の precision、0.917 の recall を達成。
• データコーパスは約 160 万ツイートから成り、 ground truth ラベルでは 4.5% が bully、3.4% が aggressor、31.8% が spammers、60.3% が normal ユーザー。
• 虐待的/暴力的な行為アカウントはデータセットの約 8% を占め、先行研究の観察と一致する。