[论文解读] Extreme Extraction: Only One Hour per Relation

Raphael Hoffmann, Luke Zettlemoyer+1 more|arXiv (Cornell University)|Jun 21, 2015

Topic Modeling参考文献 33被引用 10

一句话总结

本论文提出 InstaRead，一种新颖的交互式系统，使专家能在一小时内创建高精度、高召回率的二元关系信息抽取器——相比以往的‘极端抽取’方法，人工工作量减少了十倍。该系统结合了表达力强的规则语言、大规模数据集上的实时反馈，以及利用语料统计和自举模式的智能引导，以加速规则开发并提高效率。

ABSTRACT

Information Extraction (IE) aims to automatically generate a large knowledge base from natural language text, but progress remains slow. Supervised learning requires copious human annotation, while unsupervised and weakly supervised approaches do not deliver competitive accuracy. As a result, most fielded applications of IE, as well as the leading TAC-KBP systems, rely on significant amounts of manual engineering. Even "Extreme" methods, such as those reported in Freedman et al. 2011, require about 10 hours of expert labor per relation. This paper shows how to reduce that effort by an order of magnitude. We present a novel system, InstaRead, that streamlines authoring with an ensemble of methods: 1) encoding extraction rules in an expressive and compositional representation, 2) guiding the user to promising rules based on corpus statistics and mined resources, and 3) introducing a new interactive development cycle that provides immediate feedback --- even on large datasets. Experiments show that experts can create quality extractors in under an hour and even NLP novices can author good extractors. These extractors equal or outperform ones obtained by comparably supervised and state-of-the-art distantly supervised approaches.

研究动机与目标

• 大幅减少为二元关系构建高质量信息抽取器所需的人工工作量。
• 使专家甚至自然语言处理新手无需预标注数据即可创建具有竞争力的抽取器。
• 通过提供实时反馈和智能引导，加速迭代式规则开发周期。
• 在保持高精度和高召回率的同时，最小化对监督数据和人工规则工程的依赖。
• 识别并缓解抽取流水线中的主要错误来源，特别是预处理问题。

提出的方法

• 该系统采用组合式、基于逻辑的规则语言，使专家能够精确表达复杂的语言模式。
• 它集成了自举规则归纳算法，利用句法依存关系和共指聚类，基于语料统计建议有前景的规则。
• 在规则编写过程中提供实时反馈，即使在包含数百万篇文档的数据集上也能即时测试和优化。
• 系统通过 WordSim（语义相似度）、Linguistics（句法模式）和 Composition（规则组合）等功能引导用户，以提升召回率。
• 支持交互式开发，实现即时评估，缩短从假设生成到验证的时间。
• 系统设计用于检测并隔离源于预处理（如命名实体识别、句法分析）的错误，从而实现针对性改进。

实验结果

研究问题

• RQ1 是否可以使用无预标注数据的方法，在每关系一小时内完成信息抽取器的开发？
• RQ2 自然语言处理新手是否能通过交互式基于规则的系统成功创建高质量抽取器？
• RQ3 不同交互功能（如自举、组合、WordSim）对召回率和精确率的提升有何贡献？
• RQ4 基于规则的抽取中主要的错误来源是什么？是否可以被识别并缓解？
• RQ5 与以往的极端抽取方法相比，交互式系统在多大程度上减少了人工工程工作量？

主要发现

• 使用 InstaRead 的专家在每关系一小时内创建了高精度抽取器，其性能达到或优于监督学习和弱监督方法。
• 27 个由新手用户创建的抽取器的中位精确率为 94%，在 NYTimes 数据集上平均每个关系抽取 8,741 项。
• 自举功能对召回率提升贡献最大，而组合与语言学特征则以极小的投入提供了额外增益。
• 超过一半的精确率错误可追溯至预处理失败（如句法分析、命名实体识别），凸显了与预处理组件更好集成的必要性。
• 即使 NLP 新手也能成功开发出有效的抽取器，证明了该系统的可用性和易用性。
• 系统提供的实时反馈和引导式规则建议显著缩短了原型开发时间，并提升了规则开发周期的效率。