[논문 리뷰] A Brief History of Web Crawlers

Seyed M. Mirtaheri, Mustafa Emre Dinçtürk외 4명|arXiv (Cornell University)|2014. 05. 05.

Web Data Mining and Analysis참고 문헌 55인용 수 32

한 줄 요약

이 논문은 전통적인 웹 크롤러에서 딥 웹 및 RIA(Rich Internet Application) 크롤러로의 웹 크롤러 진화에 대한 종합적인 서베이를 제시하며, 아키텍처, 설계 목표 및 과제를 분석한다. RIA 크롤러의 분류 체계를 도입하고, 완전성 및 상태 커버리지와 같은 기준을 사용해 성능을 평가하며, 모델 기반 크롤링, 확장성, 동적 웹 애플리케이션 내 위젯 탐지와 같은 열린 연구 문제를 규명한다.

ABSTRACT

Web crawlers visit internet applications, collect data, and learn about new web pages from visited pages. Web crawlers have a long and interesting history. Early web crawlers collected statistics about the web. In addition to collecting statistics about the web and indexing the applications for search engines, modern crawlers can be used to perform accessibility and vulnerability checks on the application. Quick expansion of the web, and the complexity added to web applications have made the process of crawling a very challenging one. Throughout the history of web crawling many researchers and industrial groups addressed different issues and challenges that web crawlers face. Different solutions have been proposed to reduce the time and cost of crawling. Performing an exhaustive crawl is a challenging question. Additionally capturing the model of a modern web application and extracting data from it automatically is another open question. What follows is a brief history of different technique and algorithms used from the early days of crawling up to the recent days. We introduce criteria to evaluate the relative performance of web crawlers. Based on these criteria we plot the evolution of web crawlers and compare their performance

연구 동기 및 목표

• 초기 콘텐츠 색인에서 현대의 RIA 크롤링에 이르기까지 웹 크롤러의 역사를 추적하기 위해.
• 딥 웹 및 RIA 크롤러의 핵심 구성 요소와 설계 전략을 식별하고 분류하기 위해.
• 완전성, 상태 커버리지, 효율성과 같은 평가 기준을 설정하여 크롤러 성능을 비교하기 위해.
• 모델 기반 탐색 및 상태 폭발 완화와 같은 RIA 크롤링 분야의 주요 열린 과제를 부각하기 위해.
• 전략, DOM 처리 방식, 이벤트 처리 기법을 기반으로 RIA 크롤러의 분류 체계를 제안하기 위해.

제안 방법

• 크롤링은 웹 애플리케이션이 노드로 표현된 응용 프로그램 상태와 간선으로 표현된 전이를 가진 방향 그래프로 모델링되는 그래프 탐색 문제로 간주된다.
• RIA 크롤러는 자바스크립트 엔진을 갖춘 가상 브라우저를 사용하여 클라이언트 측 코드를 실행하고 동적 DOM 상태를 렲시한다.
• DOM-Seen 모듈은 해시 비교 또는 편집 거리 기반으로 이전에 관측된 상태를 확인하여 중복 탐색을 방지한다.
• 이벤트 추출기에서는 DOM에서 클라이언트 측 이벤트(예: 자바스크립트 핸들러)를 식별하여 URL을 초월한 상태 전이 탐지가 가능하다.
• 깊이 우선 탐색, 너비 우선 탐색, 코드 커버리지 또는 DOM 영향 기반과 같은 히ュ리스틱 기반 우선순위 전략이 이벤트 선택을 이끈다.
• 고급 접근 방식은 최소 체인 분해, Rural-Postman 솔버, 확률 모델과 같은 기법을 사용하여 상태 커버리지 최적화 및 중복 탐색 감소를 도모한다.

실험 결과

연구 질문

• RQ1 웹 크롤러 아키텍처는 전통적인 URL 기반 크롤링에서 동적 RIA 상태를 다루는 방식으로 어떻게 진화해왔는가?
• RQ2 딥 웹 및 RIA 크롤러를 구분하는 데 핵심이 되는 설계 구성 요소와 전략은 무엇인가?
• RQ3 완전성, 상태 커버리지, 효율성과 같은 차원에서 크롤러 성능을 객관적으로 평가할 수 있는 방법은 무엇인가?
• RQ4 특히 모델 기반 탐색 및 확장성 측면에서 RIA 크롤링 분야의 주요 열린 과제는 무엇인가?
• RQ5 독립적인 UI 컴포넌트(위젯)를 어떻게 탐지하여 상태 폭발을 줄이고 크롤링 효율성을 향상시킬 수 있는가?

주요 결과

• RIA 크롤러는 URL이 변경되지 않더라도 상태가 변화할 수 있으므로, URL 기반 탐색이 아닌 DOM 기반 상태 검출이 필요하다.
• 기존의 크롤링 전략은 클라이언트 측 상태 전이가 항상 URL 변경을 수반하지 않기 때문에 RIA에서는 실패한다.
• DOM 해시화 및 편집 거리 비교와 같은 기법은 RIA 크롤러에서 이전에 관측된 응용 프로그램 상태를 효과적으로 탐지하는 데 유용하다.
• 높은 코드 커버리지 또는 구조적 영향을 가진 이벤트를 우선순위로 삼는 히ュ리스틱 기반 전략은 상태 커버리지 향상과 중복 탐색 감소에 기여한다.
• 특히 많은 이벤트 기반 전이를 가진 복잡한 RIA에서 상태 폭발의 가능성이 있어 확장성 문제가 여전히 도전 과제로 남아 있다.
• 모든 지표에서 최적의 성능을 달성하는 단일 크롤러 전략은 존재하지 않으며, 완전성, 효율성, 확장성 간의 상충 관계는 RIA 크롤링의 본질적 특성이다.