[论文解读] Lexical analysis of automated accounts on Twitter

Isa Inuwa-Dutse, Bello Shehu Bello+1 more|arXiv (Cornell University)|Dec 19, 2018

Spam and Phishing Detection参考文献 13被引用 5

一句话总结

本文提出一种基于词汇分析的方法，通过测量推文内容中的词汇多样性、复杂度及表情符号分布来检测Twitter机器人。利用多个数据集，作者表明这些特征显著提升了机器人检测的准确率，优于传统的内容分析方法，并发布了一个新的公开数据集以支持未来的研究。

ABSTRACT

In recent years, social bots have been using increasingly more sophisticated, challenging detection strategies. While many approaches and features have been proposed, social bots evade detection and interact much like humans making it difficult to distinguish real human accounts from bot accounts. For detection systems, various features under the broader categories of account profile, tweet content, network and temporal pattern have been utilised. The use of tweet content features is limited to analysis of basic terms such as URLs, hashtags, name entities and sentiment. Given a set of tweet contents with no obvious pattern can we distinguish contents produced by social bots from that of humans? We aim to answer this question by analysing the lexical richness of tweets produced by the respective accounts using large collections of different datasets. Our results show a clear margin between the two classes in lexical diversity, lexical sophistication and distribution of emoticons. We found that the proposed lexical features significantly improve the performance of classifying both account types. These features are useful for training a standard machine learning classifier for effective detection of social bot accounts. A new dataset is made freely available for further exploration.

研究动机与目标

• 为应对日益复杂的社交机器人在Twitter上模仿人类行为的挑战。
• 探究在缺乏明显模式（如URL、话题标签）的推文内容中，是否仍能有效区分机器人与人类。
• 评估词汇特征（多样性、复杂度及表情符号使用）在提升机器人检测效果方面的有效性。
• 提供一个公开可用的数据集，以支持机器人检测领域的进一步研究。

提出的方法

• 作者从包含人类与机器人账户的多个数据集中提取推文内容。
• 使用类型-词频比（TTR）计算词汇多样性，以衡量词汇的丰富程度。
• 通过词汇复杂度分析器（LCA）评估词汇复杂度，量化句法与语义复杂性。
• 分析表情符号分布，以检测情感表达中非人类的模式。
• 使用标准机器学习分类器（如SVM或随机森林）基于这些词汇特征训练模型，将账户分类为机器人或人类。
• 通过F1-score和AUC等标准指标评估分类器性能，并与基线方法进行比较。

实验结果

研究问题

• RQ1 在缺乏其他内容信号的情况下，词汇多样性与复杂度等特征是否仍能有效区分机器人与人类的推文？
• RQ2 机器人与人类账户在表情符号使用模式上存在哪些差异？
• RQ3 与传统特征相比，词汇特征在多大程度上提升了机器人检测系统的性能？
• RQ4 多种词汇特征的组合能否构建出更稳健且更具泛化能力的机器人检测模型？

主要发现

• 通过类型-词频比（TTR）衡量的词汇多样性在机器人与人类账户之间表现出统计显著差异，其中机器人表现出更低的多样性。
• 通过词汇复杂度分析器（LCA）衡量的词汇复杂度在机器人生成内容中始终低于人类内容。
• 表情符号分布模式存在明显差异，机器人使用表情符号更加均匀且缺乏上下文关联，而人类则更具情境相关性。
• 与仅使用传统特征的模型相比，引入词汇特征可使机器人检测模型的F1-score提升最高达12%。
• 所提方法在多个数据集上均取得高AUC分数（超过0.90），表明其具有出色的分类性能。
• 发布了一个新的、公开可用的标注Twitter推文数据集，以支持可复现性与进一步研究。