[논문 리뷰] A systematic framework to discover pattern for web spam classification

Hamed Jelodar, Yongli Wang외 2명|ArXiv.org|2017. 11. 19.

Spam and Phishing Detection인용 수 4

한 줄 요약

이 논문은 웹 스팸을 탐지하기 위해 CHAID 의사결정 트리와 수정된 KMP 문자열 매칭 알고리즘을 조합한 체계적인 프레임워크를 제안한다. 웹사이트에서 구조적 및 텍스트적 패턴을 추출하고 분석함으로써 스팸을 탐지한다. Alexa Top 500과 Bing 검색 결과를 대상으로 평가한 결과, 규칙 기반 패턴 탐지 기반으로 기만적 특징을 효과적으로 식별함으로써 스팸 탐지 정확도가 향상된다.

ABSTRACT

Web spam is a big problem for search engine users in World Wide Web. They use deceptive techniques to achieve high rankings. Although many researchers have presented the different approach for classification and web spam detection still it is an open issue in computer science. Analyzing and evaluating these websites can be an effective step for discovering and categorizing the features of these websites. There are several methods and algorithms for detecting those websites, such as decision tree algorithm. In this paper, we present a systematic framework based on CHAID algorithm and a modified string matching algorithm (KMP) for extract features and analysis of these websites. We evaluated our model and other methods with a dataset of Alexa Top 500 Global Sites and Bing search engine results in 500 queries.

연구 동기 및 목표

• 검색 엔진 결과에서 지속적인 문제로 남아 있는 웹 스팸에 대응하기 위해 사용자 신뢰도와 검색 품질을 저해하는 문제를 해결한다.
• 기존 탐지 기법에서 회피하는 기만적 웹 패턴을 식별하기 위한 체계적이고 규칙 기반의 방법을 개발한다.
• 특징 추출을 위해 의사결정 트리 분석과 최적화된 문자열 매칭을 융합함으로써 스팸 분류 성능을 향상시킨다.
• 실제 세계 데이터인 Alexa Top 500과 Bing 검색 결과를 대상으로 프레임워크를 평가하여 실용적 관련성을 확보한다.

제안 방법

• 프레임워크는 스팸 분류를 위한 중요 특징를 식별하고 의사결정 규칙를 구축하기 위해 CHAID(卡-제곱 자동 상호작용 탐지기)를 활용한다.
• 웹 콘텐츠에서 위험한 키워드 패턴을 탐지하기 위해 쿠누스-모리스-프랫(Knuth-Morris-Pratt) 문자열 매칭 알고리즘의 수정 버전을 사용한다.
• 특징는 Alexa Top 500과 Bing 검색 결과의 웹사이트 HTML 구조, 메타데이터, 텍스트 콘텐츠에서 추출된다.
• CHAID와 KMP에서 유도된 구조적 및 텍스트 기반 규칙의 조합에 기반해 웹사이트를 스팸 또는 비스팸으로 분류한다.
• 규칙 기반 및 패턴 기반 분석을 통합하여 탐지의 강건성과 해석 가능성 향상을 도모한다.
• 실제 조건을 시뮬레이션하기 위해 500개의 글로벌 상위 웹사이트와 500개의 Bing 검색 쿼리로 구성된 데이터셋을 대상으로 평가가 수행된다.

실험 결과

연구 질문

• RQ1 구조적 및 텍스트적 특징를 모두 활용하여 체계적인 프레임워크가 웹 스팸을 효과적으로 식별하고 분류할 수 있는가?
• RQ2 의사결정 트리와 문자열 매칭이 스팸 탐지 정확도 향상에 어떤 역할을 하는가?
• RQ3 CHAID와 수정된 KMP를 융합한 하이브리드 접근 방식이 실제 웹 데이터에서 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 상위 랭킹 웹사이트에서 기만적 패턴은 콘텐츠 및 구조 측면에서 어떻게 나타나는가?
• RQ5 이 프레임워크는 다양한 웹 콘텐츠와 검색 쿼리 환경에 대해 얼마나 일반화될 수 있는가?

주요 결과

• 제안된 프레임워크는 CHAID 기반 규칙 추출과 최적화된 KMP 문자열 매칭을 융합함으로써 스팸 탐지 정확도를 향상시켰다.
• CHAID를 통한 구조적 분석과 KMP를 통한 텍스트적 분석의 통합은 기만적 웹 패턴을 더 견고하게 식별할 수 있도록 했다.
• 이 방법은 Alexa Top 500과 Bing 검색 결과의 고-ranking 웹사이트에서 스팸을 효과적으로 탐지하여 실용적 적용 가능성을 입증했다.
• 수정된 KMP 알고리즘은 웹 콘텐츠 내 반복적이거나 은폐된 스팸 키워드를 탐지하는 데 효율성을 높였다.
• 프레임워크는 해석 가능한 의사결정 규칙을 제공하여 블랙박스 모델 대비 투명성을 높였다.
• 평가 결과는 모델이 실제 환경에서 효과적임을 확인하였으며, 대규모 스팸 탐지 파이프라인에서의 활용을 뒷받침한다.