[论文解读] Design of Automatically Adaptable Web Wrappers

Emilio Ferrara, Robert Baumgartner|CogPrints (University of Southampton)|Mar 7, 2011

Web Data Mining and Analysis参考文献 18被引用 6

一句话总结

本文提出一种自动包装器自适应技术，利用HTML DOM结构的树形语法快照来检测并适应网页结构的变化。通过应用聚类树匹配算法比较原始和当前的DOM树，系统使包装器能够以最少的人工干预实现自我自适应，显著降低维护开销，同时在动态网页环境中保持高提取准确率和鲁棒性。

ABSTRACT

Nowadays, the huge amount of information distributed through the Web motivates studying techniques to be adopted in order to extract relevant data in an efficient and reliable way. Both academia and enterprises developed several approaches of Web data extraction, for example using techniques of artificial intelligence or machine learning. Some commonly adopted procedures, namely wrappers, ensure a high degree of precision of information extracted from Web pages, and, at the same time, have to prove robustness in order not to compromise quality and reliability of data themselves. In this paper we focus on some experimental aspects related to the robustness of the data extraction process and the possibility of automatically adapting wrappers. We discuss the implementation of algorithms for finding similarities between two different version of a Web page, in order to handle modifications, avoiding the failure of data extraction tasks and ensuring reliability of information extracted. Our purpose is to evaluate performances, advantages and draw-backs of our novel system of automatic wrapper adaptation.

研究动机与目标

• 解决由于HTML网页频繁的结构变化而导致的网页包装器维护成本过高的问题。
• 减少在网页更新后对包装器进行人工调试和重新配置的依赖。
• 使包装器能够自动适应无需人工重新编程的轻微结构变化。
• 提高包装器在生产环境中的鲁棒性和长期可用性。
• 开发一种可扩展的自动化解决方案，通过检测DOM树之间的结构相似性实现包装器自适应。

提出的方法

• 在包装器创建时存储DOM树的快照（树形语法），以备后续比较。
• 应用聚类树匹配算法，计算原始DOM树与当前DOM树之间的结构相似度。
• 使用动态规划算法，基于节点标签和结构特征计算子树之间的最大匹配。
• 引入节点度、兄弟节点数量以及属性相似度（如class、id、href）以提高匹配精度。
• 将相似度分数定义为匹配节点数与最大兄弟节点数的比值，支持可配置的精度。
• 基于检测到的结构相似性，自动更新XPath表达式和数据提取规则，以保持包装器功能。

实验结果

研究问题

• RQ1 如何使网页包装器能够对HTML网页中的轻微结构变化实现自我自适应？
• RQ2 测量两个DOM树之间结构相似度的高效且准确的方法是什么？
• RQ3 能否增强树匹配算法，以支持具有可配置精度的自动包装器自适应？
• RQ4 自动自适应能在多大程度上减少对人工包装器维护的需求？
• RQ5 在实际场景中，所提出的自适应机制性能与人工重新配置相比如何？

主要发现

• 聚类树匹配算法能有效识别原始网页与修改后网页之间的相似子树，从而实现准确的包装器自适应。
• 该系统在元素重新排序和DOM的轻微修改等各类结构变化下，仍能成功维持包装器的功能。
• 自适应过程显著减少了人工干预的需求，降低了维护成本，并提升了长期可靠性。
• 该方法在页面布局重新排列的情况下，仍能实现对相似结构模式的高精度匹配。
• 该方法在Lixto Suite平台的真实部署中表现出良好的可扩展性和鲁棒性。
• 验证实验表明，经自适应后的包装器能保持高数据提取准确率，数据损坏或失败率极低。