[论文解读] Detecting Sockpuppets in Deceptive Opinion Spam

Marjan Hosseinia, Arjun Mukherjee|arXiv (Cornell University)|Mar 9, 2017

Spam and Phishing Detection参考文献 27被引用 6

一句话总结

本文提出了一种基于归纳推理的新型方法——间谍诱导（spy induction），通过利用未标记的测试数据来改进作者验证，从而检测在线评论中的欺骗性傀儡账号。通过将一小部分已知的正样本（间谍）注入未标记的测试集中，并识别其最近邻和最远邻，该方法有效扩展了负样本训练集，在不同领域和分类器上显著提升了F1分数，相较于基线模型最高提升达19.9%。

ABSTRACT

This paper explores the problem of sockpuppet detection in deceptive opinion spam using authorship attribution and verification approaches. Two methods are explored. The first is a feature subsampling scheme that uses the KL-Divergence on stylistic language models of an author to find discriminative features. The second is a transduction scheme, spy induction that leverages the diversity of authors in the unlabeled test set by sending a set of spies (positive samples) from the training set to retrieve hidden samples in the unlabeled test set using nearest and farthest neighbors. Experiments using ground truth sockpuppet data show the effectiveness of the proposed schemes.

研究动机与目标

• 为解决欺骗性傀儡账号检测的挑战——即作者使用多个别名发布虚假评论，而传统作者身份归属方法因训练数据有限且多样化而失效。
• 在负样本庞大且代表性不足的开放集场景下，提升作者验证性能。
• 开发一种利用未标记测试数据动态扩展训练集的方法，以构建更鲁棒的验证模型。
• 在多个领域（酒店、产品、餐厅）和分类器（SVM、LR、kNN）上评估所提方法的有效性。

提出的方法

• 提出一种特征选择方案ΔKL-PTFs，利用已知作者与负样本之间基于解析树特征计算的风格语言模型之间的KL散度，识别具有区分性的特征。
• 引入一种称为“间谍诱导”的归纳技术，将一小部分已知正样本（间谍）注入未标记的测试集中，以检索其最近邻和最远邻作为潜在的正负训练样本。
• 使用距离度量（欧氏距离或余弦相似度）在未标记测试集中识别间谍集合的邻居，假设风格相似的文档更可能来自同一作者。
• 采用两阶段训练流程：首先在基础特征上训练验证器；其次利用间谍诱导生成的扩展训练集重新训练，以提升泛化能力。
• 在多种分类器（SVM、逻辑回归、kNN）上应用该方法，并使用F1、精确率和召回率在真实世界傀儡账号数据集上评估性能。
• 在三个领域（酒店、产品、餐厅）和维基百科傀儡账号语料库上验证该方法，并通过t检验确认性能提升的统计显著性。

实验结果

研究问题

• RQ1 增加负样本集合的多样性和规模，如何影响作者验证模型在傀儡账号检测中的性能？
• RQ2 未标记的测试数据能否被有效利用，以改进开放集作者验证任务中的负样本训练集？
• RQ3 作为一种基于归纳推理的方法，间谍诱导是否在跨领域检测欺骗性傀儡账号方面优于传统归纳推理和基线方法？
• RQ4 当在不同领域间迁移知识时（例如，在酒店数据上训练，在产品数据上测试），间谍诱导在多大程度上提升了验证性能？
• RQ5 在负样本集合中作者多样性（δ = 25%、50%、75%）变化的情况下，该方法的鲁棒性如何？

主要发现

• 间谍诱导在所有领域和分类器上均显著提升了F1分数，相较于基线模型最高提升达19.9%（例如，在δ=75%时，餐厅领域F1从55.2%提升至59.3%）。
• 在跨领域验证中，当在两个领域上训练并在第三个领域上测试时，使用逻辑回归的间谍诱导相比基线模型F1提升达7.6%（61.5% vs. 40.4%）。
• 该方法仅需5–7个间谍样本即可快速稳定，即使注入的正样本极少也表现出强鲁棒性。
• 在δ=75%时，召回率下降更少且收敛更快，表明在负样本集合多样性更高的情况下性能更优。
• 在维基百科傀儡账号数据集上，间谍诱导始终优于基线模型，SVM的F1提升7.6%（70.3% vs. 68.0%），逻辑回归提升2.0%（61.5% vs. 49.8%），均在δ=75%时达到。
• 统计显著性检验（p < 0.01）确认，间谍诱导在所有领域和设置下带来的性能提升均具有显著性。