[论文解读] Fake News in Social Networks

Christoph Aymanns, Jakob Foerster+2 more|arXiv (Cornell University)|Aug 21, 2017

Misinformation and Its Impacts被引用 5

一句话总结

本文将社交媒体中虚假新闻的传播建模为多智能体深度强化学习问题，其中智能体根据私有信号和邻居行为来学习支持或反对某项声明。主要发现是，智能体能够近乎最优地识别虚假新闻，但攻击者可通过偏置私有信号来成功操纵网络，尤其是在针对信号较弱的智能体或利用网络结构时。

ABSTRACT

We propose multi-agent reinforcement learning as a new method for modeling fake news in social networks. This method allows us to model human behavior in social networks both in unaccustomed populations and in populations that have adapted to the presence of fake news. In particular the latter is challenging for existing methods. We find that a fake-news attack is more effective if it targets highly connected people and people with weaker private information. Attacks are more effective when the disinformation is spread across several agents than when the disinformation is concentrated with more intensity on fewer agents. Furthermore, fake news spread less well in balanced networks than in clustered networks. We test a part of our findings in a human-subject experiment. The experimental evidence provides support for the predictions from the model, suggesting that the model is suitable to analyze the spread of fake news in social networks.

研究动机与目标

• 将社交媒体中虚假新闻的传播建模为具有策略性智能体的社会学习博弈。
• 研究攻击者如何通过偏置目标智能体的私有信号并利用网络结构来操纵智能体。
• 评估当智能体意识到攻击者存在时，能否通过重新优化策略来降低虚假新闻传播活动的有效性。
• 评估私有信念和网络位置作为攻击者可利用信息的价值。
• 开发一种可扩展、可学习的智能体行为框架，以近似社会学习环境中贝叶斯最优决策。

提出的方法

• 社交网络中的智能体接收关于声明真实性的私有噪声信号，并观察邻居过去的行动。
• 每个智能体被建模为一个通过多智能体深度强化学习训练的循环深度Q网络（DQN），以最大化正确行动带来的效用。
• 效用定义为：支持真实声明时为正，反对虚假声明时也为正，策略优化旨在平衡私有信号与社会信息。
• 该框架与理论上的贝叶斯最优策略进行基准对比，包括有无信号共享的情况。
• 通过偏置目标智能体的私有信号来模拟对抗性攻击，攻击预算和对信号强度或网络位置的了解程度各不相同。
• 攻击效果通过在不同攻击条件和信号强度下，识别虚假声明的准确率下降程度来衡量。

实验结果

研究问题

• RQ1 与理论贝叶斯最优基准相比，多智能体深度强化学习策略在识别虚假新闻方面的有效性如何？
• RQ2 攻击者通过偏置目标智能体的私有信号，能在多大程度上操纵网络？
• RQ3 当攻击者了解智能体的私有信号强度或网络位置时，其对虚假新闻传播活动的成功率如何变化？
• RQ4 当智能体意识到攻击者存在并能在训练期间重新优化策略时，是否能增强对虚假新闻的抗性？
• RQ5 对私有信念和网络结构的信息对于意图传播错误信息的攻击者而言有多重要？

主要发现

• 通过多智能体深度强化学习训练的智能体，即使未直接共享信号，其效用也接近理论贝叶斯最优基准。
• 当智能体接收到无偏见的私有信号时，能正确识别大多数虚假声明，表明在无操纵情况下具有强大的抗虚假新闻能力。
• 通过偏置私有信号的对抗性攻击极为有效，尤其在针对信号强度较低的智能体时，其操纵效率相比随机目标提高多达两倍。
• 当攻击者知晓某智能体邻居的平均信号强度时，攻击效果更高，尤其是在大量智能体信号较弱的网络中。
• 当智能体意识到攻击者存在并在训练期间重新优化策略时，攻击者的攻击效果显著降低，表明意识提升可增强网络的抗性。
• 结果表明，私有信念和网络结构是关键的脆弱点——必须严格保护此类信息，以防止在错误信息传播活动中被利用。