[论文解读] Identification of Twitter Bots Based on an Explainable Machine Learning Framework: The US 2020 Elections Case Study

Alexander Shevtsov, Christos Tzagkarakis+2 more|arXiv (Cornell University)|Dec 8, 2021

Spam and Phishing Detection被引用 5

一句话总结

本文提出了一种可解释的机器学习框架，用于在2020年美国大选期间使用XGBoost结合SHAP可解释性方法检测Twitter机器人。通过利用配置文件、时间序列和基于网络的特征，该框架实现了高检测准确率，SHAP分析显示机器人账户表现出较低的列表成员资格、较低的点赞活动以及较高的快速关注行为。

ABSTRACT

Twitter is one of the most popular social networks attracting millions of users, while a considerable proportion of online discourse is captured. It provides a simple usage framework with short messages and an efficient application programming interface (API) enabling the research community to study and analyze several aspects of this social network. However, the Twitter usage simplicity can lead to malicious handling by various bots. The malicious handling phenomenon expands in online discourse, especially during the electoral periods, where except the legitimate bots used for dissemination and communication purposes, the goal is to manipulate the public opinion and the electorate towards a certain direction, specific ideology, or political party. This paper focuses on the design of a novel system for identifying Twitter bots based on labeled Twitter data. To this end, a supervised machine learning (ML) framework is adopted using an Extreme Gradient Boosting (XGBoost) algorithm, where the hyper-parameters are tuned via cross-validation. Our study also deploys Shapley Additive Explanations (SHAP) for explaining the ML model predictions by calculating feature importance, using the game theoretic-based Shapley values. Experimental evaluation on distinct Twitter datasets demonstrate the superiority of our approach, in terms of bot detection accuracy, when compared against a recent state-of-the-art Twitter bot detection method.

研究动机与目标

• 开发一种监督式机器学习框架，用于识别高风险选举期间的Twitter机器人，特别是2020年美国大选期间。
• 研究从Twitter API提取的哪些特征在机器人检测任务中表现最佳。
• 评估模型在主要训练集之外多个公认的Twitter数据集上的泛化能力。
• 超越黑箱模型，通过使用SHAP值实现预测的可解释性，从而揭示机器人分类决策背后的逻辑。
• 通过特征重要性分析提供关于机器人行为模式的可操作洞察，支持未来的检测与缓解策略。

提出的方法

• 本研究采用基于XGBoost算法的监督式机器学习流程，通过k折交叉验证进行超参数调优。
• 从Twitter API数据中提取特征，包括配置文件元数据、时间活动模式以及提及、好友关系和列表成员资格等网络交互指标。
• 通过聚合两个公认的在线机器人检测工具的预测结果生成真实标签，以提高标注可靠性。
• 采用训练/验证/测试集划分以确保模型评估的稳健性，并使用SMOTE进行过采样以解决类别不平衡问题。
• 应用SHAP（Shapley加性解释）计算特征重要性并解释模型预测，利用博弈论中的Shapley值量化每个特征对单个预测的贡献。
• 通过标准指标（如准确率、精确率、召回率和F1分数）评估模型性能，并与近期最先进方法（Yang et al., 2020）进行比较。

实验结果

研究问题

• RQ1 能否在2020年美国大选Twitter数据集上有效训练并微调监督式机器学习模型，以实现高机器人检测准确率？
• RQ2 从Twitter API提取的哪些特征组合——配置文件、时间序列、互动或基于网络的特征——能实现最高的检测性能？
• RQ3 所提出的模型在主要训练集之外的多种公认Twitter数据集上是否具有良好的泛化能力？
• RQ4 模型的决策过程在多大程度上可以被解释和阐明，特别是通过特征重要性分析？
• RQ5 通过可解释人工智能技术（如SHAP）揭示了哪些行为模式可将机器人账户与合法用户区分开来？

主要发现

• XGBoost模型在2020年美国大选数据集上的机器人检测准确率优于近期最先进方法（Yang et al., 2020），表现出优异的性能。
• 特征'listed_count'对模型预测的影响最大，表明机器人账户显著不如正常用户那样频繁成为Twitter列表的成员。
• 机器人用户表现出较低的'favourites_by_age'（按年龄计算的点赞数），表明其倾向于忽略或避免对他人推文进行点赞。
• 机器人账户表现出较高的'friends_by_age'（按年龄计算的好友数）值，表明其在短时间内表现出快速且激进的关注行为，以迅速扩大网络可见性。
• SHAP摘要图显示，影响最大的前20个特征主要为统计类、基于时间的和图结构类特征，其中'listed_count'、'favourites_by_age'和'friends_by_age'属于最具影响力的特征。
• 当将该模型应用于其他公认的Twitter数据集时，其泛化性能表现强劲，证实了其在不同数据分布下的鲁棒性。