[論文レビュー] Simplistic Collection and Labeling Practices Limit the Utility of Benchmark Datasets for Twitter Bot Detection

C. P. Hays, Zachary Schutzman+3 more|arXiv (Cornell University)|Jan 17, 2023

Spam and Phishing Detection被引用数 5

ひとこと要約

本研究では、既存のTwitterベンチマークデータセットにおける高精度なボット検出モデルが、洗練された特徴工学やモデルの複雑さのおかげではなく、単純なデータ収集およびラベル付けの実践が訓練データにデータセット固有のアーティファクトを埋め込むため、ほぼ完璧な精度に達していることを示している。たった数つの特徴（例：ツイート頻度、いいね行動、言語）に基づいて学習された浅い決定木が、最先端の性能を達成しており、これはモデルがデータセット間で一般化できず、真のボットの特徴ではなくサンプリングバイアスを学習していることを示している。

ABSTRACT

Accurate bot detection is necessary for the safety and integrity of online platforms. It is also crucial for research on the influence of bots in elections, the spread of misinformation, and financial market manipulation. Platforms deploy infrastructure to flag or remove automated accounts, but their tools and data are not publicly available. Thus, the public must rely on third-party bot detection. These tools employ machine learning and often achieve near perfect performance for classification on existing datasets, suggesting bot detection is accurate, reliable and fit for use in downstream applications. We provide evidence that this is not the case and show that high performance is attributable to limitations in dataset collection and labeling rather than sophistication of the tools. Specifically, we show that simple decision rules -- shallow decision trees trained on a small number of features -- achieve near-state-of-the-art performance on most available datasets and that bot detection datasets, even when combined together, do not generalize well to out-of-sample datasets. Our findings reveal that predictions are highly dependent on each dataset's collection and labeling procedures rather than fundamental differences between bots and humans. These results have important implications for both transparency in sampling and labeling procedures and potential biases in research using existing bot detection tools for pre-processing.

研究の動機と目的

• 既存のベンチマークデータセット上で最先端のボット検出モデルがほぼ完璧な性能を示す理由を調査すること。
• これらの高精度な結果が、真の検出能力を反映しているのか、それともデータ収集およびラベル付けの実践に起因するアーティファクトを反映しているのかを評価すること。
• 異なるデータセットおよびボットタイプ間でのボット検出モデルの一般化能力を評価すること。
• ボット検出を前処理ステップとして用いる下流の研究において、バイアスのリスクを浮き彫りにすること。
• ソーシャルメディア研究のデータセットにおけるデータ収集およびラベル付け手順の透明性を高めるよう提言すること。

提案手法

• ツイート頻度、いいね行動、言語、アカウント作成時刻などの最小限の特徴セットに基づいて浅い決定木を学習し、ベンチマークデータセットでのモデル性能を評価した。
• 多値分類を用いて、各ボットタイプ内でアカウントがどのデータセットに属するかを予測し、異なるデータセットからのアカウントが区別可能かどうかをテストした。
• 解釈可能性とわずかな性能向上のトレードオフを評価するため、浅い決定木とランダムフォレストの性能を比較した。
• 一般化性能を評価するため、統合されたデータセットでモデルを学習し、外部データセットでテストした。精度とバランス精度を測定した。
• 言語使用、関与パターン、アカウント活動などのデータセット固有のアーティファクトを分析し、サンプリングバイアスを特定した。
• 標準的な機械学習評価指標（精度、バランス精度）を用いて、モデル性能および一般化の失敗を定量化した。

実験結果

リサーチクエスチョン

• RQ1 高精度なボット検出モデルが、一般化可能なボットの特徴ではなく、データセット固有のアーティファクトに依存する程度はどの程度か？
• RQ2 浅い決定木のような単純なモデルが、既存のベンチマークデータセットでほぼ最先端の性能を達成できるのか。そしてこれはモデルの一般化に何を示唆するのか？
• RQ3 統合されたデータセットで学習したモデルが外部データセットにどの程度一般化できるか。これはデータ分布のシフトをどのように明らかにするか？
• RQ4 同じボットタイプ内でも、アカウントがどのデータセットに由来するかを分類できる程度はどの程度か。これはデータセットレベルのサンプリングバイアスを示唆するか？
• RQ5 これらの発見は、下流の社会科学的研究においてボット検出を前処理ステップとして用いることにどのような意味を持つのか？

主な発見

• ツイート頻度、いいね行動、言語などのわずかな特徴に基づいて学習された浅い決定木が、大多数のベンチマークデータセットでほぼ最先端の性能を達成しており、モデルの精度がモデルの洗練さではなくデータアーティファクトに起因していることを示している。
• 統合されたデータセットで学習したモデルは、外部データセットへの一般化が著しく劣り、性能が著しく低下しており、データセット間で根本的な分布のシフトが存在することが明らかになった。
• 多値分類器は、アカウントがどのデータセットに由来するかを高い精度で予測できる：人間アカウントでは0.67/0.43のバランス精度、スパムアカウントでは0.97/0.75、フェイクフォロワーでは0.97/0.94であり、強いデータセットレベルのサンプリングバイアスが存在することが示された。
• スパムボットのデータセットは、単純な行動パターン（例：social-spambots-1ではイタリア語のツイート、pronbots-2019では高いいいね率）によって区別可能であり、モデルがボットの意味的特徴ではなくサンプリングアーティファクトを学習していることが示された。
• ランダムフォレストのような複雑なモデルの高精度は、その表現力のおかげではなく、浅いモデルが利用するのと同じデータセット固有の特徴に起因している。
• これらの発見は、データが代表的でなかったり、透明に収集されていなかったりする場合、下流の研究で用いられるボット検出ツールが顕著なバイアスを導入する可能性があることを示唆している。