[论文解读] Generating Sentiment-Preserving Fake Online Reviews Using Neural Language Models and Their Human- and Machine-based Detection

David Ifeoluwa Adelani, Haotian Mai+4 more|arXiv (Cornell University)|Jul 22, 2019

Topic Modeling参考文献 31被引用 8

一句话总结

本文提出一种低技能方法，通过在真实评论数据上微调 GPT-2 并使用基于 BERT 的情感分类器过滤输出，生成保持情感一致的虚假在线评论。生成的评论在流畅性和检测方面与人工撰写的评论几乎无法区分，人类评估者随机识别虚假评论的准确率仅约 22.5% 的等错误率（EER），凸显了检测方面的重大挑战。

ABSTRACT

Advanced neural language models (NLMs) are widely used in sequence generation tasks because they are able to produce fluent and meaningful sentences. They can also be used to generate fake reviews, which can then be used to attack online review systems and influence the buying decisions of online shoppers. To perform such attacks, it is necessary for experts to train a tailored LM for a specific topic. In this work, we show that a low-skilled threat model can be built just by combining publicly available LMs and show that the produced fake reviews can fool both humans and machines. In particular, we use the GPT-2 NLM to generate a large number of high-quality reviews based on a review with the desired sentiment and then using a BERT based text classifier (with accuracy of 96%) to filter out reviews with undesired sentiments. Because none of the words in the review are modified, fluent samples like the training data can be generated from the learned distribution. A subjective evaluation with 80 participants demonstrated that this simple method can produce reviews that are as fluent as those written by people. It also showed that the participants tended to distinguish fake reviews randomly. Three countermeasures, Grover, GLTR, and OpenAI GPT-2 detector, were found to be difficult to accurately detect fake review.

研究动机与目标

• 探究非专家是否可以仅使用公开可用的预训练语言模型生成高质量、情感一致的虚假评论。
• 评估此类虚假评论在逃避人工和机器检测方面的有效性。
• 评估现有自动化检测方法——Grover、GLTR 和 OpenAI GPT-2 检测器——在这些生成评论上的表现。
• 探索构建可扩展、低成本攻击在线评论系统的威胁模型的可行性。

提出的方法

• 在真实 Amazon 和 Yelp 评论数据集上微调 GPT-2，基于带有目标情感的种子评论生成新评论。
• 使用基于 BERT 的文本分类器（准确率达 96%）过滤掉情感不符的评论，仅保留目标情感的评论。
• 通过自回归采样从微调后的 GPT-2 模型生成大规模虚假评论，以种子评论作为提示。
• 不进行任何后处理或词级修改，确保生成的评论保留训练数据的流畅性和连贯性。
• 通过 80 名参与者进行主观评估，以判断虚假评论的流畅性和可检测性。
• 使用等错误率（EER）作为主要指标，评估三种自动化检测方法——Grover、GLTR 和 OpenAI GPT-2 检测器——的性能。

实验结果

研究问题

• RQ1 低技能攻击者能否仅使用公开可用的预训练语言模型生成保持情感一致且语言流畅的虚假评论？
• RQ2 人类评估者在区分该方法生成的虚假评论与真实评论方面的有效性如何？
• RQ3 现有自动化检测系统（Grover、GLTR、GPT-2 检测器）在识别这些虚假评论方面的表现如何？
• RQ4 结合多种检测方法对整体检测性能有何影响？

主要发现

• 生成的虚假评论在 Amazon 数据集上的平均流畅度得分为 3.23（满分 5 分），Yelp 数据集上为 3.30，与真实评论（分别为 2.95 和 3.49）相当。
• 在主观评估中，参与者随机将虚假评论识别为最可能为真实的，正确率在 20.8% 至 34.6% 之间，表明接近随机猜测的表现。
• 表现最佳的自动化检测方法 OpenAI GPT-2 检测器在 Amazon 数据集上的等错误率（EER）为 23.5%，表明其检测能力有限。
• 融合 Grover 和 GLTR 后 EER 上升至 34.9%，而融合全部三种检测器后达到最低 EER 22.5%，但仍远未达到完美检测。
• 较低的 EER 值表明，当前检测系统对这类虚假评论生成方式缺乏鲁棒性，暴露出在线评论系统中的关键安全漏洞。
• 该方法的简洁性——仅依赖微调和过滤，无需后处理——证明了即使专业技能有限，也能生成高质量的虚假评论。