[论文解读] Joint training for open-domain extraction on the web: exploiting overlap when supervision is limited

Rahul Gupta, Sunita Sarawagi|arXiv (Cornell University)|Feb 9, 2011

Topic Modeling参考文献 28被引用 21

一句话总结

本文提出了一种基于一致性的学习框架，通过利用多个网络来源之间的重叠文本片段，在有限监督下联合训练开放域抽取模型，以提升性能。通过使模型在共享内容区域上达成一致，并采用分区策略实现高效训练，该方法在性能上显著优于独立训练及现有的集体推理和多视角学习方法。

ABSTRACT

We consider the problem of jointly training structured mod-els for extraction from multiple web sources whose records enjoy partial content overlap. This has important applica-tions in open-domain extraction, e.g. a user materializing a table of interest from multiple relevant unstructured sources; or a site like Freebase augmenting an incomplete relation by extracting more rows from web sources. Such applications require extraction over arbitrary domains, so one cannot use a pre-trained extractor or demand a huge labeled dataset. We propose to overcome this lack of supervision by using content overlap across the related web sources. Existing methods of exploiting overlap have been developed under settings that do not generalize easily to the scale and diver-sity of overlap seen on Web sources. We present an agreement-based learning framework that jointly trains the models by biasing them to agree on the agreement regions, i.e. shared text segments. We present alternatives within our framework to trade-off tractability, robustness to noise, and extent of agreement enforced; and propose a scheme of partitioning agreement regions that leads to efficient training while maximizing overall accuracy. Further, we present a principled scheme to discover low-noise agreement regions in unlabeled data across multiple sources. Through extensive experiments over 58 different extrac-tion domains, we establish that our framework provides sig-nificant boosts over uncoupled training, and scores over al-ternatives such as collective inference, staged training, and multi-view learning.

研究动机与目标

• 解决从多样化、未标注的网络来源中进行低资源、开放域信息抽取的挑战，这些来源之间存在部分内容重叠。
• 克服现有方法在真实世界网络数据多样性面前难以扩展或泛化的问题。
• 开发一种联合训练框架，利用源间重叠信息，而无需大量标注数据。
• 在未标注数据中发现低噪声一致性区域，以提升模型鲁棒性与训练效率。
• 在准确率上超越独立训练、集体推理、分阶段训练和多视角学习。

提出的方法

• 该框架采用基于一致性的学习方法，使多个抽取模型在不同来源的共享文本片段上产生一致的预测。
• 提出一种一致性区域的分区策略，以平衡训练效率与性能，实现可扩展的联合优化。
• 该方法包含可配置的权衡机制，用于调节可处理性、抗噪声能力以及模型间强制一致性的程度。
• 提出一种合理方案，自动识别未标注数据中的低噪声一致性区域，减少对噪声监督的依赖。
• 该框架支持模型的联合训练，无需预训练抽取器或大规模标注数据集。
• 支持端到端学习，最大化重叠内容上的一致性，同时保持在多样化领域中的泛化能力。

实验结果

研究问题

• RQ1 在标注数据稀缺的情况下，是否可以通过在多个重叠网络来源上联合训练抽取模型，显著提升性能？
• RQ2 如何在未标注的、多样化的网络数据中有效发现并利用一致性区域，以指导联合训练？
• RQ3 在联合抽取中，训练效率、抗噪声能力与一致性强制之间存在何种权衡？
• RQ4 与集体推理、分阶段训练和多视角学习相比，所提出的框架在准确率与可扩展性方面表现如何？
• RQ5 在开放域抽取中，源间重叠信息在多大程度上可被利用，以减少对大规模标注数据集的依赖？

主要发现

• 所提出的框架在58个不同的抽取领域中，相较于独立训练，实现了显著的准确率提升。
• 在准确率与鲁棒性方面，优于集体推理、分阶段训练和多视角学习等替代方法。
• 通过利用源间的内容重叠，该框架即使在监督资源有限的情况下，也能实现有效的联合训练。
• 一致性区域的分区策略在提升整体抽取准确率的同时，实现了高效的训练。
• 在未标注数据中发现低噪声一致性区域的方案，提升了模型性能，并降低了对噪声标注的敏感性。
• 该方法在无需预训练模型或大规模标注数据的情况下，展现出在多样化真实网络来源上的强大泛化能力。