[論文レビュー] You too Brutus! Trapping Hateful Users in Social Media: Challenges, Solutions & Insights

Mithun Das, Punyajoy Saha+4 more|arXiv (Cornell University)|Aug 1, 2021

Hate Speech and Cyberbullying Detection参考文献 47被引用数 7

ひとこと要約

本稿では、テキスト特徴量とソーシャルネットワーク構造を統合することで、5%のラベル付きデータのみで、状態を凌駕する性能を達成する半教師付きグラフニューラルネットワーク（AGNN）モデルを提案する。AGNNモデルは、Gabで0.791のマクロF1スコア、Twitterで0.780を達成し、完全教師ありモデルを上回り、有害ユーザーの特徴的ネットワーク近傍シグネチャーを学習することで、ゼロショットクロスプラットフォーム設定においても効果的に一般化する。

ABSTRACT

This upload contains the labeled Gab data, posts and network described in You too Brutus! Trapping Hateful Users in Social Media: Challenges, Solutions & Insights.

研究の動機と目的

• テキストのみのハスルーピー検出の限界を克服するため、より強固な有害ユーザー同定を実現するため、テキスト特徴量に加えてソーシャルネットワーク構造を統合すること。
• 低データ環境下におけるグラフベースのモデルの有害ユーザー検出における実現可能性と性能を調査すること。
• ゼロショット設定下で、学習されたネットワークシグネチャーが複数のプラットフォーム間でどのように一般化するかを分析すること。
• 訓練済みモデルを用いて、Gabのコミュニティにおけるハスルーピーと標的化パターンの進化を解明すること。
• 今後の研究を支援するため、Gabから抽出した423名の有害ユーザーおよび375名の非有害ユーザーを含む新しいアノテート済みデータセットを公開すること。

提案手法

• AGNNモデルは、doc2vecおよびBERTによるテキスト表現と、グラフ埋め込みを統合するため、近傍構造に注目するグラフニューラルネットワークを採用する。
• ユーザーのノードはソーシャルメディアのプロフィールから構築され、Gabではフォロワー関係、Twitterではリツイート関係がエッジとして定義される。
• 半教師あり学習戦略を採用し、テキスト特徴量とグラフ特徴量の両方を、わずか5%のラベル付きデータのみで学習する。
• モデルは注目メカニズムを用いて、近隣ノードの重要度を重み付けし、有害ユーザーコミュニティの構造的シグネチャーを捉える。
• LSTM、GCN、GraphSAGE、およびdoc2vec + ロジスティック回帰といった従来のNLPモデルを含む複数のベースラインと比較して評価する。
• 訓練済みのAGNNモデルを用いて、Gab全データセットに対する後向き分析を実施し、有害ユーザーの時間的傾向と標的化行動を検証する。

実験結果

リサーチクエスチョン

• RQ1 テキストとネットワーク特徴量を統合したグラフベースのモデルは、ラベル付きデータが限られた状況下でも、純粋にテキストに依存するモデルを上回る性能を示せるか？
• RQ2 例えばGabで学習したモデルは、ゼロショット設定下で、別のプラットフォーム（例：Twitter）に一般化できるか？
• RQ3 有害ユーザーと非有害ユーザーを区別する構造的ネットワークシグネチャーとは何か？ これらのシグネチャーはモデルの性能にどのように寄与するか？
• RQ4 有害ユーザーは時間経過とともに特定のコミュニティをどのように標的にするか？ その行動にはどのような言語的およびネットワーク的パターンが現れるか？
• RQ5 有害コンテンツが希薄であるか、暗号化されている場合、従来のNLPモデルはどの程度失敗するか？ また、AGNNモデルはその課題をどのように克服するか？

主な発見

• AGNNモデルは、ラベル付き学習データの5%のみを用いて、Gabデータセットで0.791のマクロF1スコア、Twitterデータセットで0.780を達成し、すべての完全教師ありモデルを上回る。
• AGNNモデルはゼロショットクロスプラットフォーム設定においても、効果的に一般化しており、学習されたネットワーク近傍シグネチャーが複数のプラットフォーム間で転送可能であることが示された。
• 誤差分析の結果、テキスト中心のモデル（例：doc2vec）は、ユーザーの投稿に有害キーワードが頻出しない場合に失敗するが、AGNNはネットワーク構造を活用することで、こうしたユーザーを正しく分類できる。
• 有害ユーザーの過半数（50%以上）が、同時に複数のマイノリティコミュニティを標的にしていることが判明し、特に「Black-Jews」のペアが最も頻繁に標的とされている。
• 時間的分析から、実際の出来事（例：テロ攻撃、集会）と、#BanIslam や #UniteTheRight といったハッシュタグの増加の間に強い相関が確認された。
• モデルは、トミー・ロビンソンのような極右指導者の支持が、トレンドハッシュタグを通じて示されることを特定しており、オンラインでの一括動員が行われている可能性を示唆している。