[논문 리뷰] A new approach to relevancy in Internet searching - the "Vox Populi Algorithm"

Andreas Schaale, Carsten Wulf-Mathies외 1명|ArXiv.org|2003. 08. 23.

Web Data Mining and Analysis참고 문헌 4인용 수 4

한 줄 요약

이 논문은 사용자 쿼리 분석을 통해 크롤러 자원 할당을 동적으로 조정함으로써 검색 엔진의 관련성 향상을 위한 새로운 접근법인 보크스 풀리(보크스 폴리) 알고리즘(VPA)을 제안한다. 사용자 관심을 쿼리 관련성의 단조함 함수를 사용해 크롤링 우선순위를 수정하는 피드백 루프로 모델링함으로써, VPA는 기존 랭킹 시스템을 대체하지 않고도 인기 있고 관련성 높은 콘텐츠의 검색을 향상시키며, 동시에 링크 랭크 분포 분산을 이용한 스팸 클러스터 탐지 통계 방법을 도입한다.

ABSTRACT

In this paper we will derive a new algorithm for Internet searching. The main idea of this algorithm is to extend the existing algorithms by a component, which reflects the interests of the users more than existing methods. The "Vox Populi Algorithm" (VPA) creates a feedback from the users to the content of the search index. The information derived from the users query analysis is used to modify the existing crawling algorithms. The VPA controls the distribution of the resources of the crawler. Finally, we also discuss methods of suppressing unwanted content (spam).

연구 동기 및 목표

• 실시간 사용자 관심을 반영하지 못하는 정적 및 동적 랭킹 알고리즘의 한계를 해결하기 위해.
• 크롤러 자원 할당에 사용자 행동을 통합함으로써 검색 관련성을 향상시키기 위해.
• 자연스러운 링크 성장과 유사한 인위적 링크 스팸 클러스터를 탐지하는 방법을 개발하기 위해.
• 기존 크롤링 및 랭킹 시스템에 경량이며 적응형 피드백 메커니즘을 통합하기 위해.

제안 방법

• VPA는 사용자 쿼리 분석에서 유도된 관련성 보정 요소 R_VPA를 사용해 크롤러의 자원 배분 행렬 M을 수정한다.
• R_VPA는 (1 + α·λ^β)로 정의되며, 여기서 λ는 쿼리 관련성을 나타내고, α, β는 단조성과 단순성을 보장하는 조정 가능한 파라미터이다.
• 알고리즘은 사용자 쿼리 빈도와 키워드 밀도를 사용해 문서 관련성을 추정하며, 동적(콘텐츠 기반) 및 정적(링크 기반) 랭킹 구성 요소를 통합한다.
• 입력 링크 랭크의 분포를 분석하기 위해 통계 모델 φ(R_s^j) = e^{-(R_s^j - R_0)^2 / σ^2}을 사용한다.
• 스팸 클러스터는 링크 랭크의 표준편차 σ가 임계 기준 σ_critical 이하일 때 식별되며, 자연스럽게 다양하게 분포된 링크 소스와 구분된다.
• 이 방법은 기존 랭킹 시스템을 대체하기보다는 피드백 기반 구성 요소를 추가함으로써 기존 시스템을 유지한다.

실험 결과

연구 질문

• RQ1 대규모 웹 인덱싱에서 사용자 쿼리 패턴을 어떻게 활용하여 검색 결과의 관련성을 향상시킬 수 있는가?
• RQ2 기존 랭킹 시스템을 손상시키지 않고 실시간 사용자 관심에 따라 크롤러 행동을 어떻게 적응시킬 수 있는가?
• RQ3 인위적 링크 스팸 클러스터를 자연스럽게 성장한 링크 네트워크와 어떻게 구분할 수 있는가?
• RQ4 간단하고 파rameterized된 함수를 사용해 쿼리 피드백에 기반한 크롤링 우선순위를 동적으로 조정할 수 있는가?
• RQ5 링크 랭크 분포의 어떤 통계적 특성이 스팸과 유기적 링크 성장을 신뢰성 있게 구분하는가?

주요 결과

• VPA 보정 요소 R_VPA는 사용자 쿼리 관련성이 높은 도메인에 크롤러 자원을 우선 배정함으로써 인기 콘텐츠의 검색을 향상시킨다.
• 알고리즘은 기존 랭킹 시스템과의 후행 호환성을 유지한다. lim_{λ→0} R_VPA = 1 이므로 사용자 관심이 낮을 경우 변화가 없다.
• 스팸 클러스터는 자연스러운 클러스터(σ² ≈ 1.1)에 비해 들어오는 링크 랭크의 분산이 훨씬 낮다(σ² ≈ 0.5–0.7), 이는 통계적 탐지가 가능하게 한다.
• 이 방법은 링크 랭크의 표준편차를 사용해 인위적 스팸 클러스터와 자연스럽게 성장한 링크 네트워크를 성공적으로 구분한다.
• 제안된 접근법은 두 개의 자유 파라미터(α, β)를 통해 로컬 검색 환경에 맞게 정밀 조정이 가능하며, 과적합을 방지한다.
• 사용자 피드백을 크롤링 결정에 통합함으로써 핵심 랭킹 논리 수정 없이도 사용자 인식 관련성 향상이 측정 가능해진다.