[論文レビュー] Heterogeneity-aware Twitter Bot Detection with Relational Graph Transformers

Shangbin Feng, Zhaoxuan Tan+2 more|arXiv (Cornell University)|Sep 7, 2021

Misinformation and Its Impacts被引用数 11

ひとこと要約

本稿では、関係性および影響の非均一性をモデル化するための関係的グラフトランスフォーマーを用いた、非均一性に配慮したTwitterボット検出フレームワークを提案する。異種情報ネットワークを構築し、関係的グラフトランスフォーマーにおけるマルチヘッドアテンションを活用することで、ベンチマークデータセット上で最先端の性能を達成した。表現学習の向上とデータスパarsityに対するロバスト性のおかげで、従来のグラフベースおよび非グラフベースの手法を上回った。

ABSTRACT

Twitter bot detection has become an important and challenging task to combat misinformation and protect the integrity of the online discourse. State-of-the-art approaches generally leverage the topological structure of the Twittersphere, while they neglect the heterogeneity of relations and influence among users. In this paper, we propose a novel bot detection framework to alleviate this problem, which leverages the topological structure of user-formed heterogeneous graphs and models varying influence intensity between users. Specifically, we construct a heterogeneous information network with users as nodes and diversified relations as edges. We then propose relational graph transformers to model heterogeneous influence between users and learn node representations. Finally, we use semantic attention networks to aggregate messages across users and relations and conduct heterogeneity-aware Twitter bot detection. Extensive experiments demonstrate that our proposal outperforms state-of-the-art methods on a comprehensive Twitter bot detection benchmark. Additional studies also bear out the effectiveness of our proposed relational graph transformers, semantic attention networks and the graph-based approach in general.

研究の動機と目的

• ソーシャルネットワークにおける関係性および影響の非均一性を無視する既存のTwitterボット検出手法の限界を是正すること。
• 異なる相互作用タイプ（例：リツイート、いいね、ブロック）と、ユーザー間での影響強度のばらつきをモデル化することで、ボット検出のパフォーマンスを向上させること。
• 異種情報ネットワークの構築とアテンションベースのメッセージパッシングを統合したエンドツーエンドのグラフベースのフレームワークを構築すること。
• 関係的グラフトランスフォーマーと意味的アテンションネットワークが、微細なボット的行動を捉える能力を有していることを検証すること。
• 限定的なラベル付けや特徴量の可用性下でのデータ効率性と表現品質を評価すること。

提案手法

• ユーザーをノードとし、多様なソーシャル相互作用（例：リツイート、返信、ブロック）をラベル付きエッジとする異種情報ネットワーク（HIN）を構築する。
• マルチヘッド自己アテンションを用いて、ユーザー間の非均一な影響強度をモデル化する関係的グラフトランスフォーマーを提案する。関係固有のアテンション重みを学習する。
• 意味的アテンションネットワークを統合し、ユーザーおよび関係を横断してメッセージを集約することで、文脈に配慮した表現学習を可能にする。
• ラベル付きのTwitterデータセットを用いた教師あり学習により、エンドツーエンドのモデルを訓練し、アカウントをボットまたは本物のユーザーに分類する。
• 関係的グラフトランスフォーマーからのノード表現を、最終的な分類器の入力として活用する。
• アブレーションスタディおよび可視化技術（例：t-SNE、アテンション重み分析）を適用し、モデルの意思決定を解釈し、設計選択の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なる種類の相互作用（例：リツイート vs. ブロック）といった関係性の非均一性をモデル化することで、Twitterボット検出のパフォーマンスが向上するか？
• RQ2 アテンション機構を用いて影響の非均一性を組み込むことで、ボットクラスターや協働行動の検出能力が向上するか？
• RQ3 検出精度、ロバスト性、データ効率性の観点から、本フレームワークは最先端の手法と比較してどのように差をつけるか？
• RQ4 関係的グラフトランスフォーマーにおけるアテンション重みが、ボット行動およびユーザーの影響に関する意味のあるパターンをどれほど反映しているか？
• RQ5 訓練データの削減やユーザー特徴のマスキングといったデータスパarsity下でも、モデルは高いパフォーマンスを維持できるか？

主な発見

• 提案手法は、包括的なTwitterボット検出ベンチマークにおいて、最先端のベースラインを一貫して上回り、優れた検出精度を示した。
• アブレーションスタディにより、関係的グラフトランスフォーマーと意味的アテンションネットワークの両方が不可欠であることが確認され、マルチヘッドアテンションが単一ヘッドや非アテンションバージョンよりも顕著に性能を向上させた。
• 訓練データのわずか40％のみを用いても強力なパフォーマンスを達成したため、ラベル不足に対する高いデータ効率性とロバスト性を示した。
• アテンション重みの可視化により、協働的なクラスタに属するボット同士がより高い相互影響スコアを示すことが判明し、本モデルがグループベースのボット行動を検出できる能力を有していることが裏付けられた。
• t-SNEの可視化では、本モデルがベースラインと比較して、本物のユーザーとボットの両方の表現をより判別性が高く、明確に分離された形で学習していることが示された。
• 複数回の実行において、第1、第2、第3四分位数で顕著な性能向上が見られ、異なるデータ分割においても一貫性があり、信頼性の高い検出が可能であることが示された。