[논문 리뷰] Architecture of A Scalable Dynamic Parallel WebCrawler with High Speed Downloadable Capability for a Web Search Engine

Debajyoti Mukhopadhyay, Sajal Mukherjee외 3명|arXiv (Cornell University)|2011. 02. 03.

Web Data Mining and Analysis참고 문헌 9인용 수 12

한 줄 요약

이 논문은 중복 다운로드 없이 분산된 도메인 중심 환경에서 여러 크롤러가 동시에 작동할 수 있도록 하는 확장 가능한 동적 병렬 웹 크롤러 아키텍처인 WEB-SAILOR를 제안한다. 클라이언트-서버 모델을 기반으로 한 지능적인 로드 분배와 충돌 방지를 통해, 낮은 통신 오버헤드로 고속 크롤링을 실현하여 대규모 웹 색인화를 위한 다운로드 효율성과 확장성을 크게 향상시킨다.

ABSTRACT

Today World Wide Web (WWW) has become a huge ocean of information and it is growing in size everyday. Downloading even a fraction of this mammoth data is like sailing through a huge ocean and it is a challenging task indeed. In order to download a large portion of data from WWW, it has become absolutely essential to make the crawling process parallel. In this paper we offer the architecture of a dynamic parallel Web crawler, christened as "WEB-SAILOR," which presents a scalable approach based on Client-Server model to speed up the download process on behalf of a Web Search Engine in a distributed Domain-set specific environment. WEB-SAILOR removes the possibility of overlapping of downloaded documents by multiple crawlers without even incurring the cost of communication overhead among several parallel "client" crawling processes.

연구 동기 및 목표

• 빠르게 확장되는 월드 와이드 웹을 대규모로 효율적으로 크롤링하는 데 도전하는 것.
• 기존 순차적 크롤링의 한계를 극복하여 다수의 클라이언트를 통해 병렬로 데이터 수집을 가능하게 하는 것.
• 클라이언트 간 높은 통신 비용을 지불하지 않고도 병렬 크롤러 간 중복 다운로드를 제거하는 것.
• 대규모 검색 엔진에서 도메인 특화 웹 색인화에 적합한 확장 가능하고 분산된 아키텍처를 설계하는 것.
• 동적 로드 밸런싱과 지능적인 요청 라우팅을 통해 다운로드 속도와 시스템 효율성을 최적화하는 것.

제안 방법

• 중앙 서버가 여러 클라이언트 크롤러에 크롤링 작업을 관리하고 배분하는 클라이언트-서버 모델을 제안한다.
• 현재 워크로드와 도메인 특화 우선순위를 기반으로 URL을 클라이언트 간에 동적으로 분배하는 로드 밸런싱 메커니즘을 적용한다.
• 도메인 또는 서브도메인 기반으로 URL을 특정 클라이언트에 할당하기 위해 분산 해시 테이블(DHT) 유사 메커니즘을 사용하여 클라이언트 간 겹침을 최소화한다.
• 클라이언트 간 URL 소유권과 상태를 추적함으로써 중복 다운로드를 방지하는 충돌 탐지 모듈을 구현한다.
• 병행 I/O 연산과 최적화된 네트워크 요청 처리를 통해 고속 다운로드 기능을 통합한다.
• 클라이언트와 서버 간 비동기 통신을 통해 대기 시간을 줄이고 전체 처리량을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 분산 클라이언트 간에 효율적으로 확장되며 중복 다운로드를 최소화할 수 있도록 웹 크롤러를 아키텍처화하는 방법은 무엇인가?
• RQ2 높은 조율 오버헤드 없이 클라이언트 간에 크롤링 워크로드를 동적으로 분배할 수 있는 메커니즘은 무엇인가?
• RQ3 클라이언트-서버 아키텍처는 매우 동적인 환경에서조차 두 개 이상의 크롤러가 동일한 문서를 다운로드하지 않도록 보장할 수 있는가?
• RQ4 기존 순차적 크롤링 대비 동적 병렬 처리를 통해 다운로드 속도와 시스템 처리량에서 어떤 성능 향상을 달성할 수 있는가?
• RQ5 도메인 특화 크롤링 전략은 대규모 웹 색인화에서 확장성 향상과 자원 경쟁 감소에 얼마나 기여하는가?

주요 결과

• WEB-SAILOR 아키텍처는 클라이언트 간 지속적인 통신 없이도 병렬 크롤러 간 중복 다운로드를 성공적으로 제거한다.
• 실시간 가용성과 도메인 특화 우선순위를 기반으로 클라이언트 간 워크로드를 동적으로 균형 잡음으로써 높은 다운로드 처리량을 달성한다.
• 도메인 기반 URL 할당 전략을 사용함으로써 클라이언트 간 조율 필요성을 크게 감소시켜 통신 오버헤드를 낮춘다.
• 분산 환경에서의 확장성은 입증되었으며, 대규모 동시 크롤링 프로세스를 지원한다.
• URL 검색에서 높은 효율성과 낮은 지연 시간을 유지하여 웹 검색 엔진의 색인 주기를 빠르게 한다.
• 프로토타입의 실증 결과는 기존 병렬 크롤링 모델 대비 다운로드 속도 향상과 시스템 활용도 향상을 명확히 보여준다.