[论文解读] Automated Crowdturfing Attacks and Defenses in Online Review Systems

Yuanshun Yao, Bimal Viswanath+3 more|arXiv (Cornell University)|Aug 27, 2017

Spam and Phishing Detection参考文献 5被引用 12

一句话总结

本文提出一种基于深度学习的方法，利用RNN自动生成逼真的虚假在线评论，实现可扩展、低成本且难以被检测的舆论操纵。实验表明，这些AI生成的评论能够逃避自动检测器和人工评审者的识别，同时保持高度的可信度。此外，本文提出一种新型防御机制，利用RNN文本生成过程中的有损特性，以检测合成内容。

ABSTRACT

Malicious crowdsourcing forums are gaining traction as sources of spreading misinformation online, but are limited by the costs of hiring and managing human workers. In this paper, we identify a new class of attacks that leverage deep learning language models (Recurrent Neural Networks or RNNs) to automate the generation of fake online reviews for products and services. Not only are these attacks cheap and therefore more scalable, but they can control rate of content output to eliminate the signature burstiness that makes crowdsourced campaigns easy to detect. Using Yelp reviews as an example platform, we show how a two phased review generation and customization attack can produce reviews that are indistinguishable by state-of-the-art statistical detectors. We conduct a survey-based user study to show these reviews not only evade human detection, but also score high on "usefulness" metrics by users. Finally, we develop novel automated defenses against these attacks, by leveraging the lossy transformation introduced by the RNN training and generation cycle. We consider countermeasures against our mechanisms, show that they produce unattractive cost-benefit tradeoffs for attackers, and that they can be further curtailed by simple constraints imposed by online service providers.

研究动机与目标

• 探究利用深度学习模型自动化生成电商及评论平台中逼真虚假在线评论的可行性。
• 评估AI生成的评论是否能够逃避最先进的统计检测方法和人工评审者的识别。
• 开发一种新型防御机制，通过利用RNN文本生成过程中固有的有损转换特性，检测合成内容。
• 分析攻击者通过增加模型复杂度以逃避检测时的成本-收益权衡。
• 通过用户研究评估生成评论的感知有用性，并与真实人类评论进行对比。

提出的方法

• 采用两阶段方法：首先，在真实Yelp评论数据上训练RNN语言模型，以学习自然语言模式的分布特征。
• 其次，通过针对特定产品属性（如餐饮类型、价格、服务质量等）进行条件控制，定制生成的评论，以提升其真实感和上下文相关性。
• 在生成过程中调节温度超参数，以控制生成内容的多样性与流畅性，从而产生不同层次连贯性和具体性的评论。
• 应用一种统计防御方法，比较生成评论与真实评论的字符级分布，检测RNN训练和推理过程中引入的细微失真。
• 使用机器学习分类器，基于RNN生成周期中的有损转换特性（特别是字符级熵和分布偏移）来检测合成评论。
• 通过600名参与者的用户研究，评估人工检测准确率及生成评论与真实评论在感知有用性方面的差异。

实验结果

研究问题

• RQ1 RNN语言模型能否生成在自动检测器眼中与真实人类撰写的评论无法区分的虚假在线评论？
• RQ2 人工用户在多大程度上能够识别出AI生成的评论？他们对这些评论的感知有用性如何评价？
• RQ3 攻击者通过增加模型复杂度以逃避检测时，其成本-收益权衡如何？
• RQ4 是否可以利用RNN训练与生成过程中的有损特性，构建一种有效且可扩展的自动化舆论操纵防御机制？
• RQ5 在线平台施加的限制（如速率限制、输入验证等）如何影响此类攻击的可行性与可扩展性？

主要发现

• 由RNN模型生成的AI评论在最先进的统计检测器面前与真实评论无异，实现了高逃逸率。
• 在600名参与者的用户研究中，人工评审者无法可靠识别出合成评论，表明其对人类感知具有强逃避能力。
• 生成评论在感知有用性指标上与真实评论表现相当，证明其具有高度说服力的真实感。
• 所提出的防御机制通过分析RNN训练与生成过程中引起的字符级分布偏移，成功检测出合成评论。
• 为逃避检测而增加模型复杂度导致收益递减，并显著提高资源成本，使此类攻击的可行性降低。
• 简单的平台级约束（如速率限制或输入验证）可进一步降低自动化舆论操纵攻击的有效性。