[論文レビュー] TwiBot-22: Towards Graph-Based Twitter Bot Detection

Shangbin Feng, Zhaoxuan Tan+20 more|arXiv (Cornell University)|Jun 9, 2022

Spam and Phishing Detection被引用数 47

ひとこと要約

TwiBot-22は、大規模で異種グラフベースの Twitter ボット検出ベンチマークと評価フレームワークを導入し、9つのデータセットにわたり35のベースラインを再実装・ベンチマークする。

ABSTRACT

Twitter bot detection has become an increasingly important task to combat misinformation, facilitate social media moderation, and preserve the integrity of the online discourse. State-of-the-art bot detection methods generally leverage the graph structure of the Twitter network, and they exhibit promising performance when confronting novel Twitter bots that traditional methods fail to detect. However, very few of the existing Twitter bot detection datasets are graph-based, and even these few graph-based datasets suffer from limited dataset scale, incomplete graph structure, as well as low annotation quality. In fact, the lack of a large-scale graph-based Twitter bot detection benchmark that addresses these issues has seriously hindered the development and evaluation of novel graph-based bot detection approaches. In this paper, we propose TwiBot-22, a comprehensive graph-based Twitter bot detection benchmark that presents the largest dataset to date, provides diversified entities and relations on the Twitter network, and has considerably better annotation quality than existing datasets. In addition, we re-implement 35 representative Twitter bot detection baselines and evaluate them on 9 datasets, including TwiBot-22, to promote a fair comparison of model performance and a holistic understanding of research progress. To facilitate further research, we consolidate all implemented codes and datasets into the TwiBot-22 evaluation framework, where researchers could consistently evaluate new models and datasets. The TwiBot-22 Twitter bot detection benchmark and evaluation framework are publicly available at https://twibot22.github.io/

研究の動機と目的

• 大規模で異種グラフベースの Twitter ボット検出データセットの不足という問題に対処する。
• 弱教師付きでアノテーション精度を改善する高品質なベンチマークを提供する。
• 複数データセットを横断して、35のベースラインを再実装・公正にベンチマークし、公正な比較と進捗追跡を可能にする。
• グラフベースアプローチの価値を示し、今後の研究のための評価フレームワークを確立する。

提案手法

• 4エンティティタイプと14リレーションタイプを備えた大規模な異種 Twitter グラフを構築するための多様性認識 BFS を用いた二段階データ収集。
• ユーザー、ツイート、リスト、ハッシュタグ、および追加のリレーションを組み込んで異種グラフを構築する。
• アノテーションのための弱教師付: 専門家による1,000ユーザーのラベリング、複数のモデルからのノイズの多いラベリング、Snorkelを用いたラベルデノイズ処理により高品質なラベルを生成する。
• 35の代表的なベースラインを再実装: 特徴量ベース、テキストベース、グラフベースの手法を横断。
• 9データセット（TwiBot-22を含む）を対象に、各モデル5回の実行で性能と変動性を評価する。
• グラフ構造の影響を、グラフベースモデルからグラフ成分を除去するアブレーションで分析する。
• サブコミュニティの一つで訓練し、他のサブコミュニティをテストすることで、未知データに対する汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模な異種グラフは、既存データセットと比べてTwitterボット検出を改善するか。
• RQ2 グラフベース手法は、多様なデータセットにおいて特徴ベースおよびテキストベースのアプローチを一貫して上回るか。
• RQ3 グラフ成分を除去すると、グラフベースモデルの性能にどのような影響があるか。
• RQ4 ボット検出モデルは未知の Twitter サブコミュニティとデータ分布にどれだけ汎化できるか。
• RQ5 統一的な評価フレームワークは、公正な比較とグラフベースの Twitter ボット検出の今後の改善を促進できるか。
• RQ6 弱教師付きは、大規模ボットラベリングにおけるアノテーション品質の改善にいかなる効果をもたらすか。

主な発見

• TwiBot-22は現時点で最大のグラフベースの Twitter ボット検出ベンチマークを確立し、ノードは92,932,326、エッジは170,185,937。
• 異種グラフには4種類のエンティティタイプと14種類のリレーションタイプが含まれており、従来のデータセットよりも豊かな構造を提供する。
• グラフベースのベースラインは一般的にデータセット全体で特徴ベースおよびテキストベースの手法を上回り、TwiBot-20およびTwiBot-22のトップ5モデルはグラフベースである。
• TwiBot-22のアノテーション品質は格段に高く（テストセットでの専門家アノテーション精度は90.5%）、TwiBot-20の約80%より高い。
• 汎化研究では、BotRGCN、RGTなどのグラフベース手法が未知データでより良い性能を示し、グラフが汎化を促進することを示唆する。
• グラフベースモデルからグラフ成分を除去すると性能が低下し、グラフニューラルネットワークはグラフ構造に対して感度が高いことが顕著に現れる。