[论文解读] Cloaker Catcher: A Client-based Cloaking Detection System

Ruian Duan, Weiren Wang+1 more|arXiv (Cornell University)|Oct 3, 2017

Spam and Phishing Detection参考文献 16被引用 3

一句话总结

Cloaker Catcher 是一种客户端系统，通过使用基于 Simhash 的网站模型（SWM），实时比较用户视图与爬虫视图，检测基于 IP 和 SEM 的伪装。该系统实现准确、保护隐私且开销低的伪装检测，避免点击欺诈，揭示出 SEM 伪装者主要推广非法服务。

ABSTRACT

Cloaking has long been exploited by spammers for the purpose of increasing the exposure of their websites. In other words, cloaking has long served as a major malicious technique in search engine optimization (SEO). Cloaking hides the true nature of a website by delivering blatantly different content to users versus web crawlers. Recently, we have also witnessed a rising trend of employing cloaking in search engine marketing (SEM). However, detecting cloaking is challenging. Existing approaches cannot detect IP cloaking and are not suitable for detecting cloaking in SEM because their search-and-visit method leads to click fraud. In addition, they focus on detecting and measuring cloaking on the server side, but the results are not visible to users to help them avoid frauds. Our work focuses on mitigating IP cloaking and SEM cloaking, and providing client-based real-time cloaking detection services. To achieve these goals, we first propose the Simhash-based Website Model (SWM), a condensed representation of websites, which can model natural page dynamics. Based on SWM, we design and implement Cloaker Catcher, an accurate, efficient and privacy-preserving system, that consists of a server that crawls websites visited by users on demand and a client-side extension that fetches spider views of websites from the server and compares them with user views to detect cloaking. Since Cloaker Catcher checks on the client side for each real user, IP cloaking can be detected whenever it occurs and click fraud in SEM can also be prevented. Using our system, we conducted the first analysis of SEM cloaking and found that the main purpose of SEM cloakers is to provide illicit services.

研究动机与目标

• 为解决现有服务器端系统因依赖类似用户行为而引发点击欺诈，无法有效检测 IP 伪装和 SEM 伪装的问题。
• 在客户端直接实现实时伪装检测，确保用户在访问潜在伪装网站时立即受到保护。
• 设计一种轻量级、保护隐私的系统，最大限度减少用户设备上的网络和计算开销。
• 通过允许搜索引擎采用该系统实现大规模伪装检测，实现可扩展部署。
• 对搜索引擎营销（SEM）中的伪装行为进行首次实证分析，揭示许多 SEM 伪装者背后的非法意图。

提出的方法

• 提出基于 Simhash 的网站模型（SWM），利用局部敏感哈希技术，生成网站内容、结构和链接的紧凑、固定大小的指纹。
• 使用客户端浏览器扩展获取并比较用户访问网站的视图与通过搜索引擎 IP 从服务器获取的爬虫视图。
• 采用 Simhash 将文本内容、超链接和 HTML 标签压缩为 64 位签名，实现 O(1) 的相似度比较。
• 利用 Google 翻译识别搜索引擎 IP，以获取爬虫视图，确保检测到 IP 伪装。
• 与现有安全 API（如 Safe Browsing）集成，提供实时警告或阻止伪装内容。
• 应用聚类和相似度启发式方法，区分伪装与合法网站的动态变化，降低误报率。

实验结果

研究问题

• RQ1 当服务器端方法因 IP 伪造而失效时，客户端系统能否有效检测 IP 伪装？
• RQ2 在赞助广告模式下，是否可行在不引发点击欺诈的情况下检测 SEM 伪装？
• RQ3 紧凑且保护隐私的网站模型（SWM）能否在最小化存储和比较开销的前提下准确表示网站动态？
• RQ4 SEM 伪装的主要动机是什么？与 SEO 伪装有何不同？
• RQ5 如何将客户端伪装检测集成到现有浏览器安全基础设施中，实现实时保护？

主要发现

• Cloaker Catcher 通过使用用户 IP 和搜索引擎 IP 获取并比较视图，成功检测 IP 伪装，消除了伪装者的优势。
• 该系统通过在不实际点击广告的情况下检测伪装，避免了点击欺诈，适用于赞助搜索环境。
• 基于 Simhash 的网站模型（SWM）实现了高效、O(1) 的网站快照比较，存储和计算开销极低。
• 首次对 SEM 伪装的分析表明，伪装者主要推广毒品和代笔服务等非法服务，与专注于流量变现的 SEO 伪装者不同。
• Cloaker Catcher 在低开销下实现高准确率，可实际集成到 Safe Browsing 等现有安全框架中。
• 该系统表明，结合基于内容的（SWM）和基于域名的特征（如信誉）可进一步提高检测精度。