[논문 리뷰] Cloaker Catcher: A Client-based Cloaking Detection System

Ruian Duan, Weiren Wang외 1명|arXiv (Cornell University)|2017. 10. 03.

Spam and Phishing Detection참고 문헌 16인용 수 3

한 줄 요약

Cloaker Catcher는 사용자 측 뷰와 스파이더 뷰를 Simhash 기반 웹사이트 모델(SWM)을 사용해 비교함으로써 실시간으로 IP 기반 및 SEM 클로킹을 탐지하는 클라이언트 측 시스템이다. 클릭 사기 없이 정확하고 프라이버시를 보호하며, 낮은 오버헤드로 클로킹 탐지를 가능하게 하며, SEM 클로커가 주로 불법 서비스를 홍보한다는 것을 드러낸다.

ABSTRACT

Cloaking has long been exploited by spammers for the purpose of increasing the exposure of their websites. In other words, cloaking has long served as a major malicious technique in search engine optimization (SEO). Cloaking hides the true nature of a website by delivering blatantly different content to users versus web crawlers. Recently, we have also witnessed a rising trend of employing cloaking in search engine marketing (SEM). However, detecting cloaking is challenging. Existing approaches cannot detect IP cloaking and are not suitable for detecting cloaking in SEM because their search-and-visit method leads to click fraud. In addition, they focus on detecting and measuring cloaking on the server side, but the results are not visible to users to help them avoid frauds. Our work focuses on mitigating IP cloaking and SEM cloaking, and providing client-based real-time cloaking detection services. To achieve these goals, we first propose the Simhash-based Website Model (SWM), a condensed representation of websites, which can model natural page dynamics. Based on SWM, we design and implement Cloaker Catcher, an accurate, efficient and privacy-preserving system, that consists of a server that crawls websites visited by users on demand and a client-side extension that fetches spider views of websites from the server and compares them with user views to detect cloaking. Since Cloaker Catcher checks on the client side for each real user, IP cloaking can be detected whenever it occurs and click fraud in SEM can also be prevented. Using our system, we conducted the first analysis of SEM cloaking and found that the main purpose of SEM cloakers is to provide illicit services.

연구 동기 및 목표

• 기존 서버 측 시스템이 사용자 유사 행동에 의존해 클릭 사기를 유발하므로, IP 클로킹과 SEM 클로킹을 탐지하는 데 실패하는 격차를 메우기 위해.
• 사용자가 잠재적으로 클로킹된 사이트를 방문할 때 즉시 보호받을 수 있도록 클라이언트 측에서 실시간 클로킹 탐지를 제공하기 위해.
• 네트워크 및 계산 오버헤드를 최소화하는 가벼운, 프라이버시를 보호하는 시스템을 설계하기 위해.
• 검색 엔진이 대규모 클로킹 탐지를 위해 시스템을 채택할 수 있도록 가능성을 제공함으로써 확장 가능한 배포를 가능하게 하기 위해.
• 검색 엔진 마케팅(SEM)에서 클로킹에 대한 첫 번째 실증 분석을 수행하여, 많은 SEM 클로커들이 불법 서비스를 홍보하는 악의적 목적을 지닌다는 것을 드러내기 위해.

제안 방법

• 지역감도 해싱을 사용해 웹사이트 콘텐츠, 구조, 링크의 압축된 고정 크기 지문인 Simhash 기반 웹사이트 모델(SWM)을 제안한다.
• 클라이언트 측 브라우저 확장 기능을 통해 사용자의 웹사이트 뷰를 가져와 검색 엔진 IP를 사용해 서버에서 확보한 스파이더 뷰와 비교한다.
• Simhash를 사용해 텍스트 콘텐츠, 하이퍼링크, HTML 태그를 64비트 서명으로 압축하여 O(1) 유사도 비교를 가능하게 한다.
• Google 번역을 활용해 스파이더 뷰 확보를 위해 검색 엔진 IP를 식별함으로써 IP 클로킹 탐지를 보장한다.
• 실시간 경고나 클로킹 콘텐츠 차단을 위해 기존 보안 API인 Safe Browsing과 통합한다.
• 클러스터링 및 유사도 히وري스틱을 적용해 클로킹과 정상적인 웹사이트 동적 변화를 구분함으로써 가짜 경고를 줄인다.

실험 결과

연구 질문

• RQ1 IP 스푸핑으로 인해 서버 측 방법이 실패할 경우, 클라이언트 측 시스템이 IP 클로킹을 효과적으로 탐지할 수 있는가?
• RQ2 후원 광고 모델을 고려할 때, 클릭 사기를 일으키지 않고 SEM 클로킹을 탐지하는 것이 가능한가?
• RQ3 압축된, 프라이버시를 보호하는 웹사이트 모델(SWM)이 저장 및 비교 오버헤드를 최소화하면서도 웹사이트 동적 특성을 정확하게 표현할 수 있는가?
• RQ4 SEM 클로킹의 주요 동기는 무엇이며, SEO 클로킹과는 어떻게 다를까?
• RQ5 기존 브라우저 보안 인프라에 클라이언트 측 클로킹 탐지를 통합해 실시간 보호를 어떻게 달성할 수 있는가?

주요 결과

• Cloaker Catcher는 사용자 IP와 검색 엔진 IP를 사용해 뷰를 확보하고 비교함으로써 클로킹의 숨김 이점을 제거함으로써 IP 클로킹을 성공적으로 탐지한다.
• 시스템은 광고 클릭이 실제로 발생하지 않아도 클로킹을 탐지하므로, 클릭 사기를 일으키지 않으며, 후원 검색 환경에 적합하다.
• Simhash 기반 웹사이트 모델(SWM)은 저장 및 계산 오버헤드를 최소화하면서도 효율적인 O(1) 웹사이트 스냅샷 비교를 가능하게 한다.
• SEM 클로킹에 대한 첫 번째 분석 결과, 클로커는 주로 마약 및 가짜 글쓰기 서비스를 홍보하는 데 집중하며, 이는 SEO 클로커가 트래픽 수익화에 초점을 맞추는 것과 다름을 드러낸다.
• 낮은 오버헤드로 높은 정확도를 달성하여, Safe Browsing과 같은 기존 보안 프레임워크에 통합하기에 실용적이다.
• 콘텐츠 기반(SWM) 및 도메인 기반 특징(예: 신뢰도)을 조합하면 탐지 정밀도를 더욱 향상시킬 수 있음을 시스템이 입증했다.