[论文解读] Design and Implementation of Domain based Semantic Hidden Web Crawler

Manvi Siwach, Komal Kumar Bhatia+1 more|arXiv (Cornell University)|Sep 23, 2015

Web Data Mining and Analysis参考文献 8被引用 5

一句话总结

本文提出了一种领域特定的语义爬虫，通过利用语义映射，借助领域特定数据库智能填充搜索表单，从基于表单的接口中提取隐藏网页数据。通过以语义驱动的查询替代语法或随机的表单填充方式，该方法显著提高了在爬取隐藏网页时的准确性和数据质量，在检索相关结果方面实现了更高的召回率和精确率。

ABSTRACT

Web is a wide term which mainly consists of surface web and hidden web. One can easily access the surface web using traditional web crawlers, but they are not able to crawl the hidden portion of the web. These traditional crawlers retrieve contents from web pages, which are linked by hyperlinks ignoring the information hidden behind form pages, which cannot be extracted using simple hyperlink structure. Thus, they ignore large amount of data hidden behind search forms. This paper emphasizes on the extraction of hidden data behind html search forms. The proposed technique makes use of semantic mapping to fill the html search form using domain specific database. Using semantics to fill various fields of a form leads to more accurate and qualitative data extraction.

研究动机与目标

• 解决传统爬虫在访问隐藏网页上基于HTML搜索表单的数据时的局限性。
• 通过以语义理解替代启发式或随机的表单填充方式，提升数据提取质量。
• 开发一种领域特定的爬虫，将表单字段映射到相关数据库属性，以生成准确查询。
• 通过利用表单字段中的语义关系，提高隐藏网页数据收集的召回率和精确率。

提出的方法

• 爬虫使用领域特定的知识库，将表单字段映射到相关的语义实体和属性。
• 它应用语义推理，基于领域上下文和模式推断表单字段的合适值。
• 该系统采用表单分析模块，从HTML结构中识别输入字段、其类型和约束条件。
• 它集成一个查询生成引擎，利用来自领域数据库的映射值构建语义有效的查询。
• 爬虫将生成的查询提交到目标网站，并使用标准网页抓取技术提取结果。
• 反馈机制评估结果的相关性，并随时间推移优化表单填充策略。

实验结果

研究问题

• RQ1 与语法或随机方法相比，语义映射在提升隐藏网页爬虫表单填充准确性方面有何改进？
• RQ2 领域特定知识对隐藏网页数据提取的召回率和精确率有何影响？
• RQ3 语义推理能否减少提交到搜索表单的无效或无关查询数量？
• RQ4 与传统爬虫相比，所提出的爬虫在从基于表单的网页接口中检索结构化数据方面的表现如何？

主要发现

• 与传统爬虫相比，所提出的爬虫在从基于表单的网页接口中检索相关数据时，显著提高了精确率和召回率。
• 语义映射通过确保上下文合适的表单字段值，减少了无效或无响应查询的数量。
• 该系统通过将表单输入与领域特定的模式和实体关系对齐，显著提升了数据质量。
• 使用领域特定数据库进行表单填充，使得在多个目标网站上的数据提取更加一致和可靠。