[논문 리뷰] A Benchmark Suite for Template Detection and Content Extraction

Julián Alarte, Josep Silva|arXiv (Cornell University)|2014. 09. 22.

Web Data Mining and Analysis참고 문헌 2인용 수 3

한 줄 요약

이 논문은 150개의 이질적이고 실제 웹사이트로 구성된 TECO를 소개한다. TECO는 템플릿 탐지, 콘텐츠 추출, 주 메뉴 식별을 위한 골드 표준 레이블이 부여된 공개 벤치마크 세트이다. 이 세트를 통해 각 웹페이지 구성 요소에 대해 표준화되고 자동화된 평가 및 비교가 가능해진다.

ABSTRACT

Template detection and content extraction are two of the main areas of information retrieval applied to the Web. They perform different analyses over the structure and content of webpages to extract some part of the document. However, their objective is different. While template detection identifies the template of a webpage (usually comparing with other webpages of the same website), content extraction identifies the main content of the webpage discarding the other part. Therefore, they are somehow complementary, because the main content is not part of the template. It has been measured that templates represent between 40% and 50% of data on the Web. Therefore, identifying templates is essential for indexing tasks because templates usually contain irrelevant information such as advertisements, menus and banners. Processing and storing this information is likely to lead to a waste of resources (storage space, bandwidth, etc.). Similarly, identifying the main content is essential for many information retrieval tasks. In this paper, we present a benchmark suite to test different approaches for template detection and content extraction. The suite is public, and it contains real heterogeneous webpages that have been labelled so that different techniques can be suitable (and automatically) compared.

연구 동기 및 목표

• 템플릿 탐지 및 콘텐츠 추출 기법을 평가하기 위한 공개 가능하고 이질적인 벤치마크 세트의 부족을 해결하기 위해.
• 실제 웹사이트의 템플릿, 주요 콘텐츠, 주요 메뉴 요소에 대한 골드 표준 레이블을 제공하여 일관된 평가를 보장하기 위해.
• 파rameter 조정과 성능 측정을 위한 별도의 벤치마크 세트를 제공하여 테스트 및 평가 단계를 지원하기 위해.
• 연구의 재현 가능성을 보장하기 위해 세트 사용자에게 공개 보고 및 완전한 실험 문서화를 요구함으로써.
• 장기적인 유용성을 확보하기 위해 향후 새로운 웹사이트와 메뉴 탐지 레이블 추가를 포함해 벤치마크 세트를 지속적으로 확장하기 위해.

제안 방법

• TECO 벤치마크 세트는 wget 및 SiteSucker 등의 도구를 사용해 150개의 실제 웹사이트를 다운로드하여 구성되었으며, 다양한 콘텐츠 유형과 언어를 포함하도록 했다.
• 다양한 도메인, 즉 뉴스, 블로그, 포럼, 전자상거래, 개인 사이트 등을 포함하도록 웹사이트를 선별하여 이질성을 확보했다.
• 각 웹페이지는 주요 콘텐츠, 템플릿 영역, 주요 메뉴 요소를 식별하기 위해 수작업으로 레이블링되어 평가를 위한 골드 표준을 구축했다.
• 연구자들이 기술을 효율적으로 테스트하고 비교할 수 있도록 자동화된 스크립트를 포함하고 있다.
• 데이터 유출을 방지하고 공정한 성능 측정을 보장하기 위해 테스트 세트와 평가 세트를 분리한 벤치마킹 프로세스를 구현했다.
• 버전 관리가 되어 있고 공개적으로 호스팅되어 있으며, 새로운 웹사이트와 레이블(예: 최종 해에 20개의 새로운 벤치마크 추가)을 지속적으로 추가하여 업데이트하고 있다.

실험 결과

연구 질문

• RQ1 표준화되고 공개 가능한 벤치마크 세트는 템플릿 탐지 및 콘텐츠 추출 기법의 재현 가능성과 비교 가능성에 어떻게 기여하는가?
• RQ2 다양하고 실제 웹사이트를 포함함으로써 평가 결과의 일반화 능력이 웹 아키텍처의 다양성에 따라 어떻게 향상되는가?
• RQ3 템플릿, 주요 콘텐츠, 주요 메뉴에 대한 통합 골드 표준은 여러 연구 팀 간 일관되고 객관적인 평가를 가능하게 하는가?
• RQ4 벤치마크 세트에서 테스트 세트와 평가 세트를 분리하는 것이 성능 측정의 신뢰성에 어떤 영향을 미치는가?
• RQ5 다국어 웹사이트의 포함 여부가 콘텐츠 추출 및 템플릿 탐지 알고리즘의 강건성에 어떤 영향을 미치는가?

주요 결과

• TECO 벤치마크 세트는 다양한 도메인, 언어, 아키텍처를 포함한 150개의 실제 웹사이트로 구성되어 있어 광범위한 적용 가능성을 보장한다.
• 각 웹페이지에 대해 주요 콘텐츠, 템플릿, 주요 메뉴에 대한 수작업으로 구성된 골드 표준 레이블이 포함되어 정밀한 평가가 가능하다.
• 벤치마크 세트는 공개적으로 이용 가능하며 무료로 사용할 수 있으며, 연구자들이 결과를 발표하고 실험의 재현 가능성을 완전히 제공하도록 요구한다.
• 제공된 스크립트를 통해 자동화된 벤치마킹을 지원하여 연구 워크플로우에의 통합을 간소화한다.
• 저자들은 이전의 벤치마크 세트가 공개되지 않았거나 기업 전용이거나 템플릿 탐지에 부적합하여 TECO의 개발이 정당화됨을 보고한다.
• 세트는 시간이 지남에 따라 확장되었으며, 초기 65개에서 150개의 웹사이트로 증가했으며, 지속적인 업데이트를 통해 관련성과 커버리지 유지를 하고 있다.