[论文解读] CERES: Distantly Supervised Relation Extraction from the Semi-Structured Web

Colin Lockard, Dong Xin+2 more|arXiv (Cornell University)|Apr 12, 2018

Web Data Mining and Analysis参考文献 32被引用 10

一句话总结

CERES 提出了一种用于半结构化网站的远程监督关系抽取方法，通过利用实体链接和结构聚类生成高质量的训练标签，无需人工标注。通过聚焦主题实体和键值对模式，该方法在40万页多语言长尾网站上成功提取了125万条事实，精确率达到90%。

ABSTRACT

The web contains countless semi-structured websites, which can be a rich source of information for populating knowledge bases. Existing methods for extracting relations from the DOM trees of semi-structured webpages can achieve high precision and recall only when manual annotations for each website are available. Although there have been efforts to learn extractors from automatically-generated labels, these methods are not sufficiently robust to succeed in settings with complex schemas and information-rich websites. In this paper we present a new method for automatic extraction from semi-structured websites based on distant supervision. We automatically generate training labels by aligning an existing knowledge base with a web page and leveraging the unique structural characteristics of semi-structured websites. We then train a classifier based on the potentially noisy and incomplete labels to predict new relation instances. Our method can compete with annotation-based techniques in the literature in terms of extraction quality. A large-scale experiment on over 400,000 pages from dozens of multi-lingual long-tail websites harvested 1.25 million facts at a precision of 90%.

研究动机与目标

• 实现无需为每个网站手动标注的全自动半结构化网站关系抽取。
• 通过利用半结构化网页的结构特征，解决远程监督中噪声和不完整标签的挑战。
• 提升在布局多样、信息丰富但数据不完整的复杂网站上的抽取质量。
• 使用单一统一框架在多个领域和语言上实现关系抽取的可扩展性。
• 在真实世界大规模数据上，相比现有基于标注和弱监督的方法，在精确率和召回率方面表现更优。

提出的方法

• 该方法首先通过实体链接识别每页的主体实体，以与种子知识库对齐。
• 然后标注页面中与主体实体已知存在关系的所有实体，将二次标注复杂度降低为线性。
• 基于结构相似性对页面中的键值对进行聚类，以识别特定谓词的区域，提升标签准确性。
• 该框架采用多阶段流水线，结合实体链接、聚类和关系分类，利用自动生成的标签训练监督式抽取器。
• 利用同一网站内页面间一致的结构模式，提升泛化能力和鲁棒性。
• 该方法旨在发现种子知识库中不存在的新实体，从而实现更广泛的知识库覆盖。

实验结果

研究问题

• RQ1 远程监督能否有效适配布局复杂且数据不完整的半结构化网站？
• RQ2 如何利用半结构化网站的结构特征，减少远程监督关系抽取中的噪声标注？
• RQ3 是否可实现一种远程监督方法，其精确率可媲美基于标注的包装器归纳方法，同时无需人工标注？
• RQ4 该方法在模板多样、数据质量不一的多语言长尾网站上扩展性能如何？
• RQ5 主题实体识别与结构聚类是否能协同提升自动生成训练标签的质量？

主要发现

• 在SWDE数据集的多个垂直领域中，CERES的平均精确率超过90%，优于许多基于标注的包装器归纳方法。
• 在一个涉及数十个多语言长尾网站、超过40万页的大规模抽取项目中，CERES以90%的精确率成功提取了125万条事实。
• 通过聚焦主题实体并使用结构聚类，该方法显著减少了虚假标注，即使在远程监督存在噪声的情况下，仍提升了标签质量。
• CERES成功发现了种子知识库中不存在的新实体，实现了比仅限于已知实体的方法更广泛的知识库覆盖。
• 该框架在模板、布局和数据完整度各异的网站间表现出强大的泛化能力。
• 该方法在SWDE上达到最先进水平，且无需任何人工标注，证明了从半结构化数据中实现全自动抽取的可行性。