[论文解读] Low Cost Page Quality Factors To Detect Web Spam

Ashish Chandra|arXiv (Cornell University)|Oct 8, 2014

Spam and Phishing Detection参考文献 13被引用 5

一句话总结

本文提出32个低成本、实时的网页质量指标，用于检测网络垃圾，分为URL、内容和链接特征三类。通过使用鲁棒的反向传播神经网络，该方法在CPU资源消耗极低的情况下实现了高准确率，可实现可扩展的搜索引擎部署，以维持搜索结果质量。

ABSTRACT

Web spam is a big challenge for quality of search engine results. It is very important for search engines to detect web spam accurately. In this paper we present 32 low cost quality factors to classify spam and ham pages on real time basis. These features can be divided in to three categories: (i) URL features, (ii) Content features, and (iii) Link features. We developed a classifier using Resilient Back-propagation learning algorithm of neural network and obtained good accuracy. This classifier can be applied to search engine results on real time because calculation of these features require very little CPU resources.

研究动机与目标

• 为应对网络垃圾日益加剧、导致搜索引擎结果质量下降的挑战。
• 开发一种可扩展、实时的系统，用于分类网络垃圾网页与正常网页（非垃圾邮件，ham）。
• 识别低复杂度、计算高效的特征，能够可靠地区分垃圾网页与合法网页。
• 通过极低的CPU资源消耗，实现该方法在生产环境搜索引擎中的实际部署。
• 在不依赖昂贵或复杂分析的前提下，提升垃圾检测的准确率。

提出的方法

• 作者提取了32个低成本质量指标，分为三类：URL特征、内容特征和链接特征。
• 这些特征设计为计算轻量级，提取过程所需CPU资源极少。
• 使用鲁棒的反向传播（RBF）神经网络训练分类器，基于提取的特征将网页分类为垃圾或正常（ham）网页。
• 分类器经过优化，可实现实时性能，能够立即应用于搜索引擎结果的过滤。
• 特征工程聚焦于启发式方法，如URL结构异常、内容冗余以及可疑的链接模式。
• 该模型在真实世界数据上进行了评估，结果表明其在计算开销极低的情况下仍具备高准确率。

实验结果

研究问题

• RQ1 一组低成本、实时的特征是否能有效区分垃圾网页与合法网页？
• RQ2 URL、内容和链接特征在整体上如何共同提升垃圾检测的准确率？
• RQ3 基于这些特征训练的神经网络分类器在计算成本极低的情况下，能达到多高的准确率？
• RQ4 此类系统是否可实际部署于实时搜索引擎处理管道中？
• RQ5 在网络垃圾过滤中，特征复杂度与检测性能之间存在怎样的权衡？

主要发现

• 所提出的系统仅使用32个低成本特征，即可实现高分类准确率，支持实时垃圾检测。
• 鲁棒的反向传播神经网络能有效学习基于所选特征对垃圾和正常网页进行分类。
• 特征提取所需CPU资源极少，使该方法适用于大规模生产环境搜索引擎的部署。
• URL、内容和链接特征的组合为垃圾检测提供了稳健的信号。
• 该方法在真实世界数据上表现优异，验证了其在生产环境中的实用性。
• 该系统具备可扩展性和高效性，为大规模维护搜索引擎结果质量提供了切实可行的解决方案。