[论文解读] Manipulation and abuse on social media

Emilio Ferrara|arXiv (Cornell University)|Mar 12, 2015

Misinformation and Its Impacts参考文献 32被引用 64

一句话总结

本文通过真实案例研究，如2013年AP推特账户被黑事件和Cynk股票操纵事件，调查了社交媒体滥用的系统性风险，包括虚假信息传播、有组织的机器人活动以及制造恐慌的行为。研究提出了一套计算框架，用于检测有害内容、识别社交机器人，并在危机期间建模恐惧与虚假信息的传播，以实现及时干预并提升平台安全性。

ABSTRACT

The computer science research community has became increasingly interested in the study of social media due to their pervasiveness in the everyday life of millions of individuals. Methodological questions and technical challenges abound as more and more data from social platforms become available for analysis. This data deluge not only yields the unprecedented opportunity to unravel questions about online individuals' behavior at scale, but also allows to explore the potential perils that the massive adoption of social media brings to our society. These communication channels provide plenty of incentives (both economical and social) and opportunities for abuse. As social media activity became increasingly intertwined with the events in the offline world, individuals and organizations have found ways to exploit these platforms to spread misinformation, to attack and smear others, or to deceive and manipulate. During crises, social media have been effectively used for emergency response, but fear-mongering actions have also triggered mass hysteria and panic. Criminal gangs and terrorist organizations like ISIS adopt social media for propaganda and recruitment. Synthetic activity and social bots have been used to coordinate orchestrated astroturf campaigns, to manipulate political elections and the stock market. The lack of effective content verification systems on many of these platforms, including Twitter and Facebook, rises concerns when younger users become exposed to cyber-bulling, harassment, or hate speech, inducing risks like depression and suicide. This article illustrates some of the recent advances facing these issues and discusses what it remains to be done, including the challenges to address in the future to make social media a more useful and accessible, safer and healthier environment for all users.

研究动机与目标

• 分析社交媒体滥用的社会与经济后果，包括虚假信息传播、有组织的操纵行为以及制造恐慌的行为。
• 识别社交媒体平台如何通过合成账号和有组织的活动实现大规模操纵。
• 理解情绪化内容（尤其是恐惧与恐慌）在危机期间加速未核实信息传播的作用。
• 开发计算工具以检测有害内容、社交机器人及有组织的活动，支持政策制定与干预设计。
• 解决年轻用户在社交媒体上面临网络欺凌、仇恨言论及心理健康风险的更高脆弱性问题。

提出的方法

• 分析2013年AP推特账户被黑事件和Cynk股票飙升等真实事件，研究虚假信息对金融市场的冲击。
• 利用网络分析与时间模式检测，追踪社交媒体平台上信息与情绪内容（如恐惧、担忧）的传播。
• 从危机相关的内容中提取特征，涵盖情感倾向、转发模式与网络中心性等维度，以分类内容为认知型或引发恐惧型。
• 应用社区检测算法，识别在紧急事件中传播信息或引发恐慌的专题聚类与关键影响账户。
• 利用计算模型模拟与预测虚假信息与高恐惧内容的传播，实现对有害活动的早期识别。
• 提出一种基于用户易感性、人口统计特征与沟通模式的干预策略设计框架。

实验结果

研究问题

• RQ1 有组织的社交媒体活动（如机器人参与）在多大程度上导致金融市场的操纵与公众舆论的扭曲？
• RQ2 在埃博拉疫情或恐怖袭击等危机中，哪些结构性与行为性指标表明高恐惧内容会引发大规模恐慌？
• RQ3 计算检测方法在多大程度上能够识别出用于虚假宣传或宣传的合成活动与机器人网络？
• RQ4 媒体与官方信息发布如何影响公众在紧急情况下的情绪反应（如认知与恐惧）？
• RQ5 哪些技术和政策干预措施能有效打破社交媒体上虚假信息与恐慌的自我强化循环？

主要发现

• 2013年AP推特账户被黑事件在不到3分钟内导致道琼斯指数下跌147点，市值蒸发1360亿美元，凸显了社交媒体虚假信息对现实经济的严重影响。
• Cynk股票在数周内涨幅超过36,000%，与通过机器人和垃圾账户进行的人工社交媒体推广密切相关，表明存在有组织的市场操纵行为。
• 在危机期间，高恐惧内容的传播速度与范围远超事实信息，恐慌情绪通过转发与提及呈病毒式扩散，尤其来自关键影响账户。
• 通过网络中心性与情感分析可量化信息需求与情绪反应（如担忧、怀疑），揭示恐惧在不同主题社区间的放大机制。
• 虚假信息的传播具有自我强化特性：恐惧导致对真实与夸大信息的辨别力下降，从而加剧未核实内容的传播。
• 具备检测机器人活动、情感倾向变化与传播模式能力的计算框架，可支持在危机期间实施及时、精准的干预措施，以减轻危害。