[논문 리뷰] Effective Focused Crawling Based on Content and Link Structure Analysis

Anshika Pal, Deepak Singh Tomar외 1명|ArXiv.org|2009. 06. 27.

Web Data Mining and Analysis참고 문헌 8인용 수 48

한 줄 요약

이 논문은 주제 기반 웹 크롤링의 정밀도를 향상시키기 위해 콘텐츠 기반 유사도 분석과 링크 구조 평가를 결합한 집중 크롤링 방법을 제안한다. 주제 키워드, 메타데이터, 동적 링크 우선순위 할당을 활용함으로써 관련성과 커버리지가 향상되어 기존 크롤러보다 더 높은 품질의 페이지 선택을 달성한다.

ABSTRACT

A focused crawler traverses the web selecting out relevant pages to a predefined topic and neglecting those out of concern. While surfing the internet it is difficult to deal with irrelevant pages and to predict which links lead to quality pages. In this paper a technique of effective focused crawling is implemented to improve the quality of web navigation. To check the similarity of web pages w.r.t. topic keywords a similarity function is used and the priorities of extracted out links are also calculated based on meta data and resultant pages generated from focused crawler. The proposed work also uses a method for traversing the irrelevant pages that met during crawling to improve the coverage of a specific topic.

연구 동기 및 목표

• 대규모 웹 콘텐츠를 효율적으로 탐색하여 주제 관련 페이지를 신속하게 식별하는 데 도전한다.
• 크롤링 과정에서의 불필요한 페이지 노이즈를 줄이기 위해 선택 기준을 향상시킨다.
• 낮은 우선순위이지만 잠재적으로 관련성이 있는 링크를 지능적으로 탐색하여 특정 주제의 커버리지 범위를 넓힌다.
• 콘텐츠 유사도 및 링크 구조 분석을 통합함으로써 검색된 페이지의 품질을 향상시킨다.
• 메타데이터와 주제 관련성에 기반한 링크 우선순위 매커니즘을 개발하여 크롤러의 결정을 안내한다.

제안 방법

• 정의된 주제 키워드와 웹 페이지 간의 유사도를 평가하기 위해 유사도 함수를 사용한다.
• 메타데이터(예: 제목, 설명) 및 콘텐츠 관련성에 기반해 추출된 링크에 우선순위 점수를 할당한다.
• 링크 구조 분석을 적용하여 표준 히وري스틱 기반으로 간과될 수 있는 잠재적으로 관련성이 있는 페이지를 식별하고 탐색한다.
• 고품질의 주제 기반 콘텐츠로 이어지는 경로를 동적으로 탐색함으로써 크롤러 행동을 조정한다.
• 콘텐츠 및 구조적 특징을 통합된 점수 모델에 통합하여 탐색 중 페이지 선택을 안내한다.
• 링크 우선순위를 반복적으로 개선하여 주제 커버리지 향상과 불필요한 페이지 검색 감소를 달성한다.

실험 결과

연구 질문

• RQ1 어떻게 주제 키워드와의 콘텐츠 유사도를 효과적으로 측정하여 집중 크롤링을 안내할 수 있는가?
• RQ2 표면적인 콘텐츠를 넘어서 링크 구조가 관련 페이지 식별에 어떤 역할을 하는가?
• RQ3 콘텐츠 및 구조 분석을 융합한 하이브리드 접근 방식이 크롤링 정밀도와 재현율을 향상시킬 수 있는가?
• RQ4 불필요한 링크를 체계적으로 탐색하여 주제 커버리지 범위를 넓힐 수 있는가, 동시에 관련성 저하 없이?
• RQ5 이 이중 분석 방법을 사용할 경우 크롤링 품질 향상을 정량화할 수 있는 지표는 무엇인가?

주요 결과

• 콘텐츠 유사도와 링크 구조 분석의 통합은 크롤링된 페이지의 관련성에 크게 기여한다.
• 제안된 방법은 기존에 간과되었지만 관련성이 있는 링크를 식별하고 탐색함으로써 주제 기반 커버리지가 증가한다.
• 메타데이터와 콘텐츠 유사도에 기반한 우선순위 점수는 크롤링 중 링크 선택 정확도를 향상시킨다.
• 기본 집중 크롤링 기법 대비 주제 관련 문서 검색 정밀도가 향상된다.
• 탐색 과정 초반에 낮은 유사도 콘텐츠를 걸러내는 필터링으로 인해 불필요한 페이지 검색이 효과적으로 감소한다.
• IJCSIS 저널에 게재된 실증 결과는 관련성 및 커버리지 지표에서 성능 향상이 확인됨을 입증한다.