[论文解读] AI-Powered Social Bots

Terrence Adams|arXiv (Cornell University)|Jun 16, 2017

Adversarial Robustness in Machine Learning参考文献 14被引用 5

一句话总结

本文探讨了利用深度学习和生成对抗网络（GANs）生成类人文本、语音和图像的AI驱动社交机器人。研究表明，基于自然语言处理、语音合成和计算机视觉技术进步的多模态、自适应机器人，能够大规模模拟人类行为，对协调一致的虚假信息传播构成重大风险。

ABSTRACT

This paper gives an overview of impersonation bots that generate output in one, or possibly, multiple modalities. We also discuss rapidly advancing areas of machine learning and artificial intelligence that could lead to frighteningly powerful new multi-modal social bots. Our main conclusion is that most commonly known bots are one dimensional (i.e., chatterbot), and far from deceiving serious interrogators. However, using recent advances in machine learning, it is possible to unleash incredibly powerful, human-like armies of social bots, in potentially well coordinated campaigns of deception and influence.

研究动机与目标

• 分析现代AI驱动社交机器人在社交媒体影响力行动背景下的演变与能力。
• 研究深度学习和多模态AI的最新进展如何促成在文本、语音和视觉模态上高度逼真、类人的机器人生成。
• 评估具备欺骗性和大规模影响力行动能力的自主、协同机器人网络所带来的风险。
• 考察支持日益复杂机器人行为的技术基础，如GANs、LSTMs和强化学习。

提出的方法

• 利用深度神经网络，特别是深度卷积和循环神经网络架构（如LSTMs），处理和生成类人文本与语音。
• 采用生成对抗网络（GANs）训练生成器网络，以生成与真实人类内容难以区分的合成数据（如图像、声音）。
• 应用强化学习技术，如AlphaGo所用方法，以优化复杂交互环境中的机器人行为。
• 整合多模态学习框架，结合自然语言处理、语音合成（如WaveNet）和面部动画，创建统一且逼真的社交机器人形象。
• 利用大规模标注数据集（如ImageNet、Megaface）和分布式计算，训练具有数百万参数的高容量模型。
• 采用对抗性训练：判别器网络D评估生成输出，而生成器网络G则不断改进以生成能欺骗D的数据

实验结果

研究问题

• RQ1 现代AI模型在多大程度上能够生成与真实人类输出难以区分的类人文本、语音和视觉内容？
• RQ2 GANs和深度神经网络的进展如何促成具备协同欺骗能力的多模态社交机器人生成？
• RQ3 支持AI机器人在多个模态（文本、语音、图像）上模拟人类行为的技术与架构基础是什么？
• RQ4 可扩展、自主的机器人网络对社交媒体影响力、政治操控和信息战有何影响？

主要发现

• 近期的深度学习模型，如层数超过154层的模型，在图像识别任务中已达到最先进性能，凸显了深层架构的强大能力。
• 谷歌的Megaface数据库包含5亿张人脸图像，实现了高度精准的人脸识别，凸显了实现高保真AI所需的数据规模。
• WaveNet和Lyrebird表明，合成语音可高度模仿真实人类声音，且随着训练数据和模型容量的增加，逼真度持续提升。
• 生成对抗网络（GANs）可生成照片级真实感图像——如合成的卧室图像——表明其具备生成逼真虚假视觉内容的潜力。
• 强化学习系统如AlphaGo已在复杂战略环境中实现超人类表现，表明类似方法可用于训练用于社交影响力的机器人。
• 自然语言处理、语音合成与视觉生成技术的融合，使得能够创建可在文本、语音和视频中模拟类人互动的多模态社交机器人。