[论文解读] Demystifying Misconceptions in Social Bots Research

Stefano Cresci, Yang, Kai-Cheng+4 more|arXiv (Cornell University)|Mar 30, 2023

Misinformation and Its Impacts被引用 7

一句话总结

本论文批评社交机器人研究领域，指出偏见、方法学陷阱和常见误解，并主张对机器人检测与错误信息研究，采用严格、无偏见的方法。

ABSTRACT

Research on social bots aims at advancing knowledge and providing solutions to one of the most debated forms of online manipulation. Yet, social bot research is plagued by widespread biases, hyped results, and misconceptions that set the stage for ambiguities, unrealistic expectations, and seemingly irreconcilable findings. Overcoming such issues is instrumental towards ensuring reliable solutions and reaffirming the validity of the scientific method. Here, we discuss a broad set of consequential methodological and conceptual issues that affect current social bots research, illustrating each with examples drawn from recent studies. More importantly, we demystify common misconceptions, addressing fundamental points on how social bots research is discussed. Our analysis surfaces the need to discuss research about online disinformation and manipulation in a rigorous, unbiased, and responsible way. This article bolsters such effort by identifying and refuting common fallacious arguments used by both proponents and opponents of social bots research, as well as providing directions toward sound methodologies for future research.

研究动机与目标

• 突出社交机器人研究中的偏见、过度泛化和方法学缺陷。
• 批判性分析一个具有代表性的机器人检测研究，以说明常见陷阱。
• 揭示误解并倡导为未来的错误信息研究采用严谨、无偏见的方法论。

提出的方法

• 对Hays等人（2023）及相关著作的批判性文献综述。
• 识别并解释如信息泄漏、数据来源不当等方法学问题。
• 讨论机器人检测研究中的概念与数据集相关局限性。
• 概述常见误解并为未来研究提供纠正性指导。

实验结果

研究问题

• RQ1 社交机器人研究中有哪些普遍偏见与误解？
• RQ2 方法学与数据相关缺陷如何影响机器人检测结果？
• RQ3 未来的错误信息与机器人研究应遵循哪些正确的方法学实践？

主要发现

• 有监督的机器人检测器的泛化能力有限；结果可能因信息泄漏而被夸大。
• 许多数据集已经过时，可能无法反映当前的机器人环境，挑战对实际机器人的泛化性。
• 常见误解包括将机器人检测视为已解决以及假设一种检测器能适用于所有机器人。
• 在被引用的工作中存在的误解和错误归因可能会扭曲研究现状与发现的新颖性。
• 错误描述机器人有效性及机器人在错误信息中的作用对公共利益具有重要影响。