[论文解读] Fake Reviews Detection through Analysis of Linguistic Features

Faranak Abri, Luis Felipe González Gutiérrez+3 more|arXiv (Cornell University)|Oct 8, 2020

Spam and Phishing Detection参考文献 25被引用 11

一句话总结

本文提出了一种基于语言特征的方法，利用自然语言处理与机器学习技术检测虚假在线评论。通过分析15种语言特征（如冗余性、连贯性与句子长度），研究发现虚假评论通常更长、更具冗余性，并包含更多停顿。仅使用四个关键特征（形容词数量、冗余性、连贯性与词汇多样性）即实现了79.09%的准确率，证明了这些语言线索具有强大的判别能力。

ABSTRACT

Online reviews play an integral part for success or failure of businesses. Prior to purchasing services or goods, customers first review the online comments submitted by previous customers. However, it is possible to superficially boost or hinder some businesses through posting counterfeit and fake reviews. This paper explores a natural language processing approach to identify fake reviews. We present a detailed analysis of linguistic features for distinguishing fake and trustworthy online reviews. We study 15 linguistic features and measure their significance and importance towards the classification schemes employed in this study. Our results indicate that fake reviews tend to include more redundant terms and pauses, and generally contain longer sentences. The application of several machine learning classification algorithms revealed that we were able to discriminate fake from real reviews with high accuracy using these linguistic features.

研究动机与目标

• 探究语言特征在区分虚假与真实在线评论方面的有效性。
• 通过特征选择与降维技术，识别对虚假评论检测最具影响力的语言特征。
• 利用这些语言特征评估多种机器学习分类器，实现高精度分类。
• 为未来虚假评论检测研究提供一个新的数据集——餐厅数据集（Restaurant Data Set）。

提出的方法

• 本研究分析了从转录语音分析中提取的15种语言特征，并将其适配于文本评论数据。
• 采用递归特征消除（RFE）、随机森林（RF）特征重要性、Boruta与方差分析（ANOVA）进行特征选择，以评估特征重要性。
• 训练并评估了七种机器学习分类器，包括多层感知机（MLP）。
• 所用数据集名为餐厅数据集（Restaurant Data Set），包含从在线来源收集的真实与虚假评论。
• 进行相关性分析以评估特征之间的相互依赖性，尤其避免模型中的数值不稳定性。
• 最佳模型仅使用通过特征选择确定的四个特征：形容词数量、冗余性、连贯性与词汇多样性。

实验结果

研究问题

• RQ1 哪些语言特征在区分虚假与真实在线评论方面最为有效？
• RQ2 当仅使用语言特征进行虚假评论检测时，不同机器学习分类器的表现如何？
• RQ3 在分类任务中，每种语言特征的相对重要性与显著性如何？
• RQ4 特征相关性如何影响模型稳定性与可解释性，尤其是在逻辑回归与RFE中？
• RQ5 能否通过极简的语言特征集合实现高检测准确率？哪些特征最具判别力？

主要发现

• 多层感知机（MLP）分类器仅使用四个语言特征（形容词数量、冗余性、连贯性与词汇多样性）即实现了79.09%的最高准确率。
• 在多种特征选择方法（RF、RFE、Boruta、ANOVA）中，冗余性、连贯性与形容词数量均被一致识别为最重要特征。
• 研究发现，虚假评论包含显著更多的冗余词汇与停顿，且整体句子长度通常长于真实评论。
• 特征相关性分析显示，部分特征之间存在高度相互依赖性（如连贯性与句子长度），可能影响模型稳定性与可解释性。
• 本研究证明，仅使用语言特征即可实现合理的检测性能，且相较于以往仅使用行为特征的工作，准确率提升了20%。
• 所提方法通过识别最小但高影响力的特征集合，降低了模型复杂度，支持高效且可解释的虚假评论检测。