[論文レビュー] Hate is not Binary: Studying Abusive Behavior of #GamerGate on Twitter

Despoina Chatzakou, Nicolas Kourtellis+4 more|arXiv (Cornell University)|May 9, 2017

Hate Speech and Cyberbullying Detection被引用数 22

ひとこと要約

本研究は、#GamerGateのTwitter論争におけるいじめ行動を分析し、攻撃的コンテンツを投稿しているにもかかわらず、通常のユーザーと比較して喜びを示す割合が低いことを明らかにした。非教師ありクラスタリングと教師あり分類を用いて、アカウント停止を予測する行動的特徴を同定し、高い正確性と再現率を達成した。また、有害な行動をとっているにもかかわらず検出を避けてしまう理由も解明した。

ABSTRACT

Over the past few years, online bullying and aggression have become increasingly prominent, and manifested in many different forms on social media. However, there is little work analyzing the characteristics of abusive users and what distinguishes them from typical social media users. In this paper, we start addressing this gap by analyzing tweets containing a great large amount of abusiveness. We focus on a Twitter dataset revolving around the Gamergate controversy, which led to many incidents of cyberbullying and cyberaggression on various gaming and social media platforms. We study the properties of the users tweeting about Gamergate, the content they post, and the differences in their behavior compared to typical Twitter users. We find that while their tweets are often seemingly about aggressive and hateful subjects, "Gamergaters" do not exhibit common expressions of online anger, and in fact primarily differ from typical users in that their tweets are less joyful. They are also more engaged than typical Twitter users, which is an indication as to how and why this controversy is still ongoing. Surprisingly, we find that Gamergaters are less likely to be suspended by Twitter, thus we analyze their properties to identify differences from typical users and what may have led to their suspension. We perform an unsupervised machine learning analysis to detect clusters of users who, though currently active, could be considered for suspension since they exhibit similar behaviors with suspended users. Finally, we confirm the usefulness of our analyzed features by emulating the Twitter suspension mechanism with a supervised learning method, achieving very good precision and recall.

研究の動機と目的

• 攻撃的かついじめ行為を行うGamergatersと通常のTwitterユーザーとの行動的差異を理解すること。
• 攻撃的コンテンツを投稿しているにもかかわらず、TwitterがGamergatersを著しく停止しない理由を調査すること。
• 停止されたアカウントに類似した行動を示す活動的ユーザーの行動的クラスタを同定すること。
• 教師ありモデルの性能を評価し、Twitterのアカウント停止メカニズムを模倣できるかを検証すること。

提案手法

• 本研究は、#GamerGate論争を中心とした大規模なTwitterデータセットを収集・前処理した。
• GamergatersとランダムなTwitterユーザーとの間で、行動、感情、ネットワーク関与度を比較分析した。
• 非教師あり機械学習を用いて、停止に類似した行動を示す活動的ユーザーのクラスタを検出した。
• 感情的および活動関連の特徴を用いて教師あり分類器を訓練し、ユーザーの状態（活動中、削除済み、停止済み）を予測した。
• GGおよびベースラインデータセットの両方で、正確性、再現率、ROC-AUC指標を用いてモデル性能を評価した。
• アカウント削除のパターンと、自己削除を行ったユーザーの感情プロファイルを分析した。

実験結果

リサーチクエスチョン

• RQ1 Gamergatersの行動パターンは、通常のTwitterユーザーとどのように異なるか？
• RQ2 攻撃的コンテンツを投稿しているにもかかわらず、なぜGamergatersはTwitterによって著しく停止されにくいのか？
• RQ3 Gamergateの文脈において、停止済みユーザーと活動中・削除済みユーザーを区別する特徴は何か？
• RQ4 非教師ありクラスタリングは、停止されたユーザーに類似した行動を示す活動中ユーザーを特定できるか？
• RQ5 教師ありモデルは、行動的および感情的特徴に基づいて、ユーザーの停止状態をどの程度正確に予測できるか？

主な発見

• Gamergatersは、攻撃的かつ憎悪を示すコンテンツを投稿しているにもかかわらず、通常のユーザーと比較して喜びを示す割合が著しく低いことが明らかになった。
• Gamergatersは通常のユーザーよりも関与度が高く、友達数・フォロワー数が多く、論争の持続性に寄与している。
• 攻撃的コンテンツを投稿しているにもかかわらず、ランダムユーザーと比較して、Gamergatersは著しく停止されにくい。
• 停止されたGamergatersは、攻撃的な感情、攻撃的な言語、通常のユーザーと比較して高いレベルの喜びを示していた。
• アカウントを自己削除したユーザーは、最も高い活動レベルを示し、苦悩、恐怖、悲しみの兆候を示し、小規模で支援的な関係性のないソーシャルネットワークを持っていた。
• 教師ありモデルは、GGデータセットにおいて平均F1スコアが0.88以上、AUC値が0.88を超える高い性能を達成した。