[論文レビュー] Identification of Twitter Bots Based on an Explainable Machine Learning Framework: The US 2020 Elections Case Study

Alexander Shevtsov, Christos Tzagkarakis+2 more|arXiv (Cornell University)|Dec 8, 2021

Spam and Phishing Detection被引用数 5

ひとこと要約

本論文は、2020年米国選挙期におけるXGBoostを用いたSHAPベースの解釈性を備えた説明可能な機械学習フレームワークを提案する。プロフィール、時間的、ネットワークベースの特徴を活用することで高い検出精度を達成し、SHAP分析により、ボットアカウントはリスト参加率が低く、いいね活動が少なく、急速なフォローリング行動を示すことが明らかになった。

ABSTRACT

Twitter is one of the most popular social networks attracting millions of users, while a considerable proportion of online discourse is captured. It provides a simple usage framework with short messages and an efficient application programming interface (API) enabling the research community to study and analyze several aspects of this social network. However, the Twitter usage simplicity can lead to malicious handling by various bots. The malicious handling phenomenon expands in online discourse, especially during the electoral periods, where except the legitimate bots used for dissemination and communication purposes, the goal is to manipulate the public opinion and the electorate towards a certain direction, specific ideology, or political party. This paper focuses on the design of a novel system for identifying Twitter bots based on labeled Twitter data. To this end, a supervised machine learning (ML) framework is adopted using an Extreme Gradient Boosting (XGBoost) algorithm, where the hyper-parameters are tuned via cross-validation. Our study also deploys Shapley Additive Explanations (SHAP) for explaining the ML model predictions by calculating feature importance, using the game theoretic-based Shapley values. Experimental evaluation on distinct Twitter datasets demonstrate the superiority of our approach, in terms of bot detection accuracy, when compared against a recent state-of-the-art Twitter bot detection method.

研究の動機と目的

• 高リスクの選挙期、特に2020年米国選挙期におけるTwitterボットを同定するための教師あり機械学習フレームワークを開発すること。
• Twitter APIから抽出された特徴量のうち、ボット検出タスクで最高のパフォーマンスを示すものは何かを調査すること。
• 主なトレーニングセット以外の複数のwell-establishedなTwitterデータセットに、モデルの一般化能力がどの程度あるかを評価すること。
• ブラックボックスモデルを越えて、SHAP値を用いた予測の解釈性を提供することで、ボット分類意思決定の根拠を明らかにすること。
• 特徴量重要度分析を通じて、ボット行動パターンに関する実行可能なインサイトを提供し、今後の検出および緩和戦略を支援すること。

提案手法

• 本研究は、ハイパーパramータチューニングのためのk-fold交差検証を用いて最適化されたXGBoostアルゴリズムを用いた教師あり機械学習パイプラインを採用している。
• 特徴量は、プロフィールメタデータ、時間的活動パターン、およびメンション、フレンド、リスト参加など、ネットワーク相互作用メトリクスを含むTwitter APIデータから抽出される。
• 正解ラベルは、2つの既存のオンラインボット検出ツールの予測を集約することで生成され、ラベルの信頼性が向上する。
• 堅牢なモデル評価を確保するため、トレーニング／検証／テストの分割が適用され、クラス不均衡を解消するためにSMOTEが使用される。
• SHAP（Shapley Additive Explanations）を用いて特徴量重要度を計算し、モデル予測の解釈性を提供する。ゲーム理論的Shapley値を用いて、各特徴量が個々の予測に与える寄与度を定量化する。
• モデルのパフォーマンスは、精度、適合率、再現率、F1スコアといった標準指標を用いて評価され、最近の最先端手法（Yang et al., 2020）と比較される。

実験結果

リサーチクエスチョン

• RQ1 2020年米国選挙期のTwitterデータセット上で、教師あり機械学習モデルを効果的にトレーニングおよびファインチューニングし、高いボット検出精度を達成できるか？
• RQ2 プロフィール、時間的、相互作用、またはネットワークベースの特徴量のうち、どの組み合わせが最高の検出パフォーマンスを示すか？
• RQ3 提案されたモデルは、主なトレーニングセット以外の多様でwell-establishedなTwitterデータセットに対しても、良好に一般化するか？
• RQ4 モデルの意思決定プロセスは、特に特徴量重要度分析を通じてどの程度解釈可能で説明可能か？
• RQ5 SHAPのような説明可能なAI技術によって、ボットアカウントと正当なユーザーを区別する行動パターンは何か？

主な発見

• XGBoostモデルは、最近の最先端手法（Yang et al., 2020）と比較して優れたボット検出精度を示し、2020年米国選挙データセットにおいて強力なパフォーマンスを発揮した。
• 特徴量「listed_count」がモデル予測に最も大きな影響を与えており、ボットアカウントは通常のユーザーと比較して、Twitterリストへの参加率が著しく低いことが示された。
• ボットユーザーは「favourites_by_age」（年齢あたりのいいね数）が低く、他のユーザーのツイートに対していいねを無視または回避する傾向があることが示された。
• ボットアカウントは「friends_by_age」（年齢あたりのフォロワー数）が高く、短時間のうちに急速かつ攻撃的にフォローを行う行動を示しており、ネットワークの可視性を拡大していることがわかった。
• SHAPサマリープロットにより、上位20位までの影響力のある特徴量は主に統計的・時間的・グラフベースのものであり、特に「listed_count」、「favourites_by_age」、「friends_by_age」が最も影響力が大きかった。
• モデルは、追加のwell-establishedなTwitterデータセットへの適用においても、優れた一般化性能を示し、異なるデータ分布に対しても堅牢であることが確認された。