[论文解读] A Benchmark Suite for Template Detection and Content Extraction

Julián Alarte, Josep Silva|arXiv (Cornell University)|Sep 22, 2014

Web Data Mining and Analysis参考文献 2被引用 3

一句话总结

本文介绍了TECO，一个公开可用的基准测试套件，包含150个异构的真实网页，这些网页在模板检测、内容抽取和主菜单识别方面进行了标注。该套件可实现对网页内容分析技术的标准化、自动化评估与比较，每个网页组件均设有黄金标准。

ABSTRACT

Template detection and content extraction are two of the main areas of information retrieval applied to the Web. They perform different analyses over the structure and content of webpages to extract some part of the document. However, their objective is different. While template detection identifies the template of a webpage (usually comparing with other webpages of the same website), content extraction identifies the main content of the webpage discarding the other part. Therefore, they are somehow complementary, because the main content is not part of the template. It has been measured that templates represent between 40% and 50% of data on the Web. Therefore, identifying templates is essential for indexing tasks because templates usually contain irrelevant information such as advertisements, menus and banners. Processing and storing this information is likely to lead to a waste of resources (storage space, bandwidth, etc.). Similarly, identifying the main content is essential for many information retrieval tasks. In this paper, we present a benchmark suite to test different approaches for template detection and content extraction. The suite is public, and it contains real heterogeneous webpages that have been labelled so that different techniques can be suitable (and automatically) compared.

研究动机与目标

• 为解决缺乏公开可用、异构的基准测试套件以评估模板检测和内容抽取技术的问题。
• 为真实网页中的模板、主要内容和主菜单提供黄金标准标注，以确保评估的一致性。
• 通过提供独立的测试集和评估集，支持参数调优和性能测量两个阶段的测试与评估。
• 通过要求套件使用者公开报告结果并提供完整的实验文档，支持可复现的研究。
• 随时间推移持续扩展基准测试套件，增加新网站和额外的菜单检测标注，以确保长期实用性。

提出的方法

• TECO基准测试套件通过使用wget和SiteSucker等工具下载150个真实网站构建而成，确保涵盖多样化的网页内容类型和语言。
• 所选网站覆盖新闻、博客、论坛、电子商务和个人网站等多种领域，以确保异构性。
• 每个网页均经过人工标注，以识别主要内容区域、模板区域和主菜单元素，从而建立评估用的黄金标准。
• 该套件包含自动化脚本，可简化基准测试流程，使研究人员能够高效地测试和比较其技术。
• 基准测试过程将测试集与评估集分离，以防止数据泄露并确保性能测量的公平性。
• 该套件采用版本控制并公开托管，持续更新以增加新网站和标注（例如，最后一年新增了20个基准）。

实验结果

研究问题

• RQ1 标准化的、公开可用的基准测试套件在多大程度上能提升模板检测和内容抽取技术的可复现性和可比性？
• RQ2 包含多样化真实网页在多大程度上能提升评估结果在不同网页结构上的泛化能力？
• RQ3 统一的模板、主要内容和主菜单黄金标准能否在多个研究团队之间实现一致且客观的评估？
• RQ4 基准测试套件中测试集与评估集的分离在多大程度上影响了性能测量的可靠性？
• RQ5 多语言网页的纳入对内容抽取和模板检测算法的鲁棒性有何影响？

主要发现

• TECO基准测试套件包含150个真实世界、异构的网页，涵盖多个领域、语言和结构，确保广泛适用性。
• 该套件为每个网页的手动标注了主要内容、模板和主菜单，实现了精确评估。
• 该基准测试套件公开可用且免费使用，要求研究人员公开发布结果并提供完整的实验可复现性。
• 通过提供的脚本，该套件支持自动化基准测试，简化了研究工作流中的集成。
• 作者报告称，以往的基准测试套件或不可用、或为专有、或不适用于模板检测，这为TECO的创建提供了合理依据。
• 该套件随时间扩展，从最初的65个网站增至150个，且持续更新以保持相关性和覆盖范围。