[论文解读] Semi-Supervised Web Wrapper Repair via Recursive Tree Matching.

Joseph Cohen, Wei Ding+1 more|arXiv (Cornell University)|May 6, 2015

Web Data Mining and Analysis参考文献 15被引用 7

一句话总结

XTPath 是一种半监督的包装器修复方法，通过递归树匹配技术在演化网页中定位结构和上下文相似的 DOM 节点，利用标注的训练数据提升数据抽取的鲁棒性。它在来自 75 个不同网站的 117,422 个网页上，优于 XPath 和商业系统。

ABSTRACT

Continuous data extraction pipelines using wrappers have become common and integral parts of businesses dealing with stock, flight, or product information. Extracting data from websites that use HTML templates is difficult because available wrapper methods are not designed to deal with websites that change over time (the inclusion or removal of HTML elements). We are the first to perform large scale empirical analyses of the causes of shift and propose the concept of domain entropy to quantify it. We draw from this analysis to propose a new semi-supervised search approach called XTPath. XTPath combines the existing XPath with carefully designed annotation extraction and informed search strategies. XTPath is the first method to store contextual node information from the training DOM and utilize it in a supervised manner. We utilize this data with our proposed recursive tree matching method which locates nodes most similar in context. The search is based on a heuristic function that takes into account the similarity of a tree compared to the structure that was present in the training data. We systematically evaluate XTPath using 117,422 pages from 75 diverse websites in 8 vertical markets that covers vastly different topics. Our XTPath method consistently outperforms XPath and a current commercial system in terms of successful extractions in a blackbox test. We are the first supervised wrapper extraction method to make our code and datasets available (online here: this http URL).

研究动机与目标

• 解决由于网站间 HTML 模板动态变化导致的包装器失效问题。
• 使用领域熵这一新度量方法，量化模板不稳定的成因。
• 开发一种半监督方法，利用训练 DOM 中的上下文节点信息，指导在演化网页结构中的搜索。
• 实现在无需对每次网站变更进行完整重训练或手动重新配置的前提下，实现稳健且可扩展的包装器修复。

提出的方法

• XTPath 将 XPath 与递归树匹配算法结合，基于节点内容、属性和位置上下文比较子树结构。
• 它引入了一种启发式函数，通过候选节点与训练 DOM 结构的相似度评分，优先选择上下文对齐度高的节点。
• 该方法存储并重用训练 DOM 中的标注上下文节点信息，以指导搜索，实现对结构变化的监督式适应。
• 它使用一种成本函数对候选 XPath 表达式进行有信息量的搜索，该函数在结构相似性和路径有效性之间取得平衡。
• 通过计算领域熵来量化网站间模板不稳定的程度，从而指导鲁棒搜索启发式的设计。
• 该方法在包含 117,422 个网页、来自 8 个垂直市场领域的 75 个网站的大规模数据集上进行训练和评估。

实验结果

研究问题

• RQ1 导致网页模板结构变化并引发包装器失效的主要原因是什么？
• RQ2 如何利用领域熵量化并预测多样化网页领域中的模板不稳定性？
• RQ3 与标准 XPath 相比，结合上下文节点信息的递归树匹配能否提升包装器修复的准确性？
• RQ4 在真实世界、黑盒评估中，XTPath 相较于现有商业和开源包装器系统，其性能提升程度如何？

主要发现

• 领域熵能有效量化多样化网站间的模板不稳定性，揭示出结构变化在各网页垂直领域中频繁且系统性地发生。
• 在评估的全部 75 个网站中，XTPath 在成功数据抽取方面显著优于标准 XPath。
• 在相同数据集的黑盒测试中，XTPath 的抽取成功率高于当前商业包装器系统。
• 该方法在全部 8 个垂直市场中均表现出一致的性能提升，包括航班和产品列表等高变化性领域。
• 通过递归树匹配集成上下文节点信息，可在模板变化下实现更准确、更稳定的节点选择。
• XTPath 是首个公开发布其代码和训练数据集的监督式包装器抽取方法，以支持可复现性和基准测试。