[論文レビュー] MGTAB: A Multi-Relational Graph-Based Twitter Account Detection Benchmark

Shuhao Shi, Kai Qiao+6 more|arXiv (Cornell University)|Jan 3, 2023

Spam and Phishing Detection被引用数 10

ひとこと要約

MGTAB は、 stance およびボット検出のための 7 種類の多関係ユーザグラフを備えた大規模の専門家アノテーション付き Twitter ベンチマークを提供し、グラフベースの手法が特徴量ベースの手法より優れており、複数の関係から恩恵を受けることを示します。

ABSTRACT

The development of social media user stance detection and bot detection methods rely heavily on large-scale and high-quality benchmarks. However, in addition to low annotation quality, existing benchmarks generally have incomplete user relationships, suppressing graph-based account detection research. To address these issues, we propose a Multi-Relational Graph-Based Twitter Account Detection Benchmark (MGTAB), the first standardized graph-based benchmark for account detection. To our knowledge, MGTAB was built based on the largest original data in the field, with over 1.55 million users and 130 million tweets. MGTAB contains 10,199 expert-annotated users and 7 types of relationships, ensuring high-quality annotation and diversified relations. In MGTAB, we extracted the 20 user property features with the greatest information gain and user tweet features as the user features. In addition, we performed a thorough evaluation of MGTAB and other public datasets. Our experiments found that graph-based approaches are generally more effective than feature-based approaches and perform better when introducing multiple relations. By analyzing experiment results, we identify effective approaches for account detection and provide potential future research directions in this field. Our benchmark and standardized evaluation procedures are freely available at: https://github.com/GraphDetec/MGTAB.

研究の動機と目的

• 既存の Twitter ベンチマークの限界を、 stance および bot 検出の高品質な専門家アノテーションを提供することで解決する。
• グラフベースのアカウント検出研究を可能にする、大規模で多関係のユーザグラフを構築する。
• 健全なモデリングのために有用なユーザ特徴を抽出・正規化する（20 のプロパティ特徴とツイート特徴）。
• 複数の関係タイプを活用するグラフベースのアプローチが、ターゲットタスクで特徴量ベースの手法を上回ることを実証する。
• 再現可能な研究のために、標準化された評価手順を提供し、データセットを公開する。）

提案手法

• 大規模な Twitter データセットを組み立て（ユーザ約 155 万人、ツイート約 1.35 億件）、410,199 人のコアへと高品質に絞り込む。
• 各ユーザについて 9 人のアノテータによる多数決で stance（中立/反対/賛成）と bot 状態（人間/ボット）の専門家アノテーションを取得する。
• 情報利得 (IG) によって最も有益な 20 の属性特徴を抽出し、LaBSE で多言語ツイートをエンコードしたユーザー-ツイート特徴を補強する。
• フォロワー、友達、メンション、リプライ、引用、URL 共起、ハッシュタグ共起の 7 種類の関係を用いた、簡易化されたユーザーレベルの異種グラフを構築し、多関係グラフモデリングを可能にする。
• 数値特徴を正規化した連結とブール特徴の二値化特徴としてユーザ特徴を表現し、ツイートを LaBSE でエンコードしてユーザーのツイートを平均化する。
• stance 側検出と bot 側検出のタスクに対して、MGTAB および既存データセットを横断して、AB、DT、RF、SVM、GCN、GAT、HGT、S-HGN、BotRGCN、RGT のベースライン手法の範囲を評価する。

実験結果

リサーチクエスチョン

• RQ1 専門家アノテーション付きの stance および bot ラベルを、Twitter アカウントの単一のグラフベースベンチマークに共同埋め込みできるか。
• RQ2 多関係グラフは単一関係や特徴量ベースの方法より検出性能を向上させるか。
• RQ3 stance および bot 検出における均質グラフニューラルネットワークと異質グラフニューラルネットワークの相対的性能はどのようか。
• RQ4 学習データ量と半教師あり学習のためのラベルなしデータの利用可能性が性能にどう影響するか。
• RQ5 どの関係タイプ（暗黙の URL/ハッシュタグ共起を含む）が検出精度に最も寄与するか。

主な発見

Task	Method	Relation	Single relation	1+2	3+4+5	1+2+3+4+5+6	Note: values shown correspond to table variants in the paper
Stance	GCN	Follower	76.7±0.6	76.9±0.6	77.1±0.5	79.1±0.3	Graph-based methods improve with multi-relations.
Stance	GAT	Follower	77.0±0.5	76.7±0.5	77.1±0.4	77.9±0.4	Has multiple relations boosts performance.
Stance	BotRGCN	Follower	79.1±0.3	76.1±0.4	76.2±0.5	79.2±0.5	Relational GNN strong with multiple relations.
Stance	S-HGN	Follower	81.2±0.2	80.8±0.2	79.4±0.2	81.7±0.2	High baseline with heterogeneous modeling.
Stance	HGT	Follower	79.1±0.1	79.6±0.2	77.4±0.2	78.7±0.1	Relational transformers effective.
Bot	GCN	Follower	81.2±0.5	84.1±0.7	84.6±0.3	82.5±0.5	Strong with relations.
Bot	GAT	Follower	81.2±1.5	83.0±1.6	83.3±2.0	78.4±0.9	Relational gains with more relations.
Bot	BotRGCN	Follower	83.5±0.5	83.2±0.3	82.9±0.2	87.2±0.2	Excellent performance with multi-relations.
Bot	S-HGN	Follower	87.5±0.3	87.3±0.3	87.3±0.3	87.9±0.2	Top-performing across settings.
Bot	HGT	Follower	87.1±0.3	87.4±0.4	86.5±0.4	87.2±0.1	Strong multi-relational modeling.

• グラフベースの手法は、ベンチマーク全体で stance および bot 検出の双方において、特徴量ベースのアプローチを一般的に上回る。
• 異質 GNN は均質 GNN を一貫して上回り、複数の関係タイプをモデリングする利点を示す。
• 複数の関係を用いることは、タスクやデータセットを跨いで単一の関係よりも性能を向上させる。
• MGTAB の stance および bot タスクは、さまざまなモデルで stance の精度/ F1 が高く（例：stance の Acc は 81.2–85.3 付近）、bot の Acc/F1 もいくつかのデータセットで >87% に達するなど、複数関係グラフの利点を示す。
• より多くの関係はより良い性能につながるが、ハッシュタグ共起のような一部の暗黙的関係は高いランダム性のため寄与が小さい場合がある。