[论文解读] Fake Review Detection Using Behavioral and Contextual Features

Jay Kumar|arXiv (Cornell University)|Feb 26, 2020

Spam and Phishing Detection参考文献 53被引用 6

一句话总结

该论文提出了一种基于行为特征和上下文特征的虚假评论检测模型，引入了‘评论者偏离度’作为新型行为特征，并通过BM25加权评估文本相似性。结果表明，将评论者偏离度与上下文特征结合可提升在真实Yelp数据集上的分类准确率和召回率，且随机森林优于支持向量机（SVM），BM25在文本相似性度量上优于NNC和TF-IDF。

ABSTRACT

User reviews reflect significant value of product in the world of e-market. Many firms or product providers hire spammers for misleading new customers by posting spam reviews. There are three types of fake reviews, untruthful reviews, brand reviews and non-reviews. All three types mislead the new customers. A multinomial organization "Yelp" is separating fake reviews from non-fake reviews since last decade. However, there are many e-commerce sites which do not filter fake and non-fake reviews separately. Automatic fake review detection is focused by researcher for last ten years. Many approaches and feature set are proposed for improving classification model of fake review detection. There are two types of dataset commonly used in this research area: psuedo fake and real life reviews. Literature reports low performance of classification model real life dataset if compared with pseudo fake reviews. After investigation behavioral and contextual features are proved important for fake review detection Our research has exploited important behavioral feature of reviewer named as "reviewer deviation". Our study comprises of investigating reviewer deviation with other contextual and behavioral features. We empirically proved importance of selected feature set for classification model to identify fake reviews. We ranked features in selected feature set where reviewer deviation achieved ninth rank. To assess the viability of selected feature set we scaled dataset and concluded that scaling dataset can improve recall as well as accuracy. Our selected feature set contains a contextual feature which capture text similarity between reviews of a reviewer. We experimented on NNC, LTC and BM25 term weighting schemes for calculating text similarity of reviews. We report that BM25 outperformed other term weighting scheme.

研究动机与目标

• 提升在真实电商数据集中的虚假评论检测性能，此类数据集常因与合成或伪虚假数据集相比表现欠佳而面临挑战。
• 探究行为特征（尤其是‘评论者偏离度’）对虚假评论分类的影响。
• 评估不同词项加权方案（NNC、LTC、BM25）在虚假评论检测中测量评论者内容相似性（RCS）的性能表现。
• 比较不同分类器（SVM、RF等）在真实世界数据集上使用所提特征集时的性能表现。
• 通过数据集缩放与特征重要性分析，缓解虚假评论检测中的类别不平衡问题。

提出的方法

• 提出了一种新型行为特征——‘评论者偏离度’，用于捕捉同一用户在同一家商家处提交的评论中评分模式的不一致性。
• 采用三种词项加权方案（TF-IDF为基线、NNC、BM25）计算评论者内容相似性（RCS），以衡量同一评论者自身评论之间的文本相似性。
• 将评论者偏离度与RCS结合其他上下文及行为特征，整合为统一的特征集用于分类任务。
• 在真实Yelp数据集上训练并评估多种分类器（SVM、决策树、随机森林）。
• 通过特征重要性排序评估各特征的贡献度，结果显示评论者偏离度在所选特征中排名第9位。
• 对数据集进行缩放，以评估数据规模对召回率与准确率的影响，结果表明数据规模扩大可提升模型性能。

实验结果

研究问题

• RQ1 在真实数据集中，引入‘评论者偏离度’作为行为特征对虚假评论检测性能有何影响？
• RQ2 在虚假评论检测中，哪种词项加权方案（NNC、LTC或BM25）在测量评论者内容相似性（RCS）时表现最佳？
• RQ3 在真实Yelp数据上，使用所提特征集时，不同分类器（SVM、随机森林等）的性能表现如何？
• RQ4 数据集缩放在多大程度上提升了虚假评论检测模型的召回率与准确率？
• RQ5 上下文特征与行为特征的重要性评分相比如何，特别是所提出的‘评论者偏离度’特征的重要性如何？

主要发现

• 所提出的特征集（包含‘评论者偏离度’）在真实Yelp数据集上的虚假评论检测性能优于Mukherjee等人与Zhang等人所使用的先前特征集。
• 评论者偏离度在所选特征中重要性排名第9位，证实其对分类模型具有实质性贡献。
• BM25在测量评论者内容相似性（RCS）方面优于NNC与TF-IDF，取得了更高的评估指标得分。
• 在真实数据集上，随机森林在虚假评论检测中优于SVM，与先前研究的发现一致。
• 数据集缩放显著提升了召回率与准确率，表明在类别不平衡的虚假评论检测任务中，数据规模对模型性能具有显著影响。