[논문 리뷰] Efficient and Effective Spam Filtering and Re-ranking for Large Web Datasets

Gordon V. Cormack, Mark D. Smucker외 1명|arXiv (Cornell University)|2010. 04. 29.

Spam and Phishing Detection참고 문헌 21인용 수 14

한 줄 요약

이 논문은 최소한의 훈련과 자동 레이블링을 사용하여 대규모 웹 데이터셋에 대해 효율적이고 콘텐츠 기반 스팸 필터링 및 재정렬 방법을 제안한다. 단지 2.5시간의 인간 레이블링 예제로 훈련된 간단한 로지스틱 회귀 분류기를 사용하여 ClueWeb09 데이터셋의 스팸성 페이지를 필터링하거나 재정렬함으로써, 모든 TREC 2009 런에서 고정 커프트 정밀도(estP10)와 순위 기반 지표(MAP, StatMAP)의 검색 효과성을 크게 향상시킨다.

ABSTRACT

The TREC 2009 web ad hoc and relevance feedback tasks used a new document collection, the ClueWeb09 dataset, which was crawled from the general Web in early 2009. This dataset contains 1 billion web pages, a substantial fraction of which are spam --- pages designed to deceive search engines so as to deliver an unwanted payload. We examine the effect of spam on the results of the TREC 2009 web ad hoc and relevance feedback tasks, which used the ClueWeb09 dataset. We show that a simple content-based classifier with minimal training is efficient enough to rank the "spamminess" of every page in the dataset using a standard personal computer in 48 hours, and effective enough to yield significant and substantive improvements in the fixed-cutoff precision (estP10) as well as rank measures (estR-Precision, StatMAP, MAP) of nearly all submitted runs. Moreover, using a set of "honeypot" queries the labeling of training data may be reduced to an entirely automatic process. The results of classical information retrieval methods are particularly enhanced by filtering --- from among the worst to among the best.

연구 동기 및 목표

• 10억 페이지로 구성된 ClueWeb09 데이터셋의 모든 페이지를 스팸 또는 비스팸으로 레이블링할 수 있는 실용적인 방법을 개발하기 위해 최소한의 계산과 훈련을 사용한다.
• 대규모 웹 정보 검색 작업에서 스팸 필터링의 영향을 정량화한다.
• 인간의 판단을 제거하기 위해 '허니팟' 쿼리(스팸 페이지만 검색하도록 설계된 합성 쿼리)를 사용하여 훈련 데이터를 자동으로 레이블링하는 것을 가능하게 한다.
• 스팸 필터링 및 재정렬이 다양한 검색 시스템, 특히 주요 검색 제공업체의 시스템을 포함하여 표준 정보 검색 지표를 크게 향상시킬 수 있음을 보여준다.

제안 방법

• 최소한의 인간 레이블링 예제(최소 2.5시간)로 훈련된 단순한 로지스틱 회귀 분류기를 사용한 콘텐츠 기반 스팸 분류기.
• 인간 간섭 없이 훈련 데이터를 자동 생성하기 위해 '허니팟' 쿼리(스팸 페이지만 검색하도록 설계된 합성 쿼리) 사용.
• 모든 페이지를 스팸성 정도로 순위 매기기 위한 백분위수 기반 스팸 점수 도입으로 유연한 필터링 또는 재정렬 임계값 설정 가능.
• 기존 검색 런에 스팸 점수를 재정렬을 통해 통합함으로써 단순한 필터링이 아닌, 관련 콘텐츠를 유지하면서 스팸을 저하시키는 방식.
• 모든 커프트 수준과 순위 기반 지표에서 스팸 필터링 및 재정렬의 영향을 평가하기 위해 50중 교차검증 사용.
• 이전에 사용된 4년 전의, 상이하고 더 작은 데이터셋을 사용하여 훈련함으로써 방법의 이식 가능성과 강건성을 입증.

실험 결과

연구 질문

• RQ1 최소한의 인간 레이블링 데이터로 대규모 웹 데이터셋에 대해 효율적으로 간단한 콘텐츠 기반 스팸 분류기를 훈련시킬 수 있는가?
• RQ2 스팸 필터링은 대규모 웹 컬렉션에서 광고 및 관련성 피드백 작업에서 검색 효과성에 얼마나 기여하는가?
• RQ3 허니팟 쿼리를 통한 자동화된 비지도 레이블링이 인간의 판단 없이 효과적인 스팸 탐지에 기여할 수 있는가?
• RQ4 스팸성 점수 기반 재정렬이 단순한 필터링보다 표준 정보 검색 지표(MAP, P@10 등) 향상에 더 효과적인가?
• RQ5 제안된 방법은 상업적 검색 제공업체의 다양한 검색 시스템에서 검색 성능 향상에 기여하는가?

주요 결과

• 모든 TREC 2009 광고 검색 제출에서 스팸 필터링으로 인해 고정 커프트 정밀도(estP10)가 평균 32% 향상되었으며, p값은 0.0001 이하였다.
• 이 방법은 순위 기반 지표를 크게 향상시켰다: MAP는 0.1195에서 0.1510으로 상대적으로 26.4% 향상되었고, StatMAP는 0.0400에서 0.0528로 상대적으로 32% 향상되었다.
• 스팸성 점수 기반 재정렬을 통해 가장 성능이 뛰어난 런(uvamrftop)의 P@10이 0.4100에서 0.4855로 향상되어, 이미 스팸 필터를 사용하는 시스템에게도 상당한 성과 향상을 보였다.
• 단지 2.5시간의 인간 레이블링으로 효과적인 스팸 탐지가 가능했으며, 이로 생성된 스팸 점수는 4년 전의 상이하고 더 작은 데이터셋으로도 훈련된 경우에도 효과적이었다.
• 검색 효과성 향상은 모든 커프트 수준에서 일관되게 나타났으며, 50중 교차검증을 통해 통계적으로 유의미한 것으로 확인되었다.
• 저자들은 공개 다운로드를 위해 4종의 스팸성 백분위수 점수(~350MB 압축)를 제공하였으며, 재현 가능성과 향후 정보 검색 시스템 통합에 기여한다.