[论文解读] Open Information Extraction on Scientific Text: An Evaluation

Paul Groth, Michael Lauruhn+2 more|arXiv (Cornell University)|Feb 15, 2018

Topic Modeling参考文献 16被引用 5

一句话总结

本文使用众包标注对10个学科的科学文本中的最先进开放信息抽取（OIE）系统进行了评估，发现其在科学文本上的表现显著低于百科全书或新闻文本。研究识别出关键错误模式，如错误的论元边界、代词和缩写的误用，以及复杂句子处理不当，并提出了在共指消解、句法解析和科学NLP标注指南方面的改进建议。

ABSTRACT

Open Information Extraction (OIE) is the task of the unsupervised creation of structured information from text. OIE is often used as a starting point for a number of downstream tasks including knowledge base construction, relation extraction, and question answering. While OIE methods are targeted at being domain independent, they have been evaluated primarily on newspaper, encyclopedic or general web text. In this article, we evaluate the performance of OIE on scientific texts originating from 10 different disciplines. To do so, we use two state-of-the-art OIE systems applying a crowd-sourcing approach. We find that OIE systems perform significantly worse on scientific text than encyclopedic text. We also provide an error analysis and suggest areas of work to reduce errors. Our corpus of sentences and judgments are made available.

研究动机与目标

• 评估最先进OIE系统在科学文献中的表现，此前尚未对此类文本进行系统性评估。
• 调查OIE系统在科学文本与一般受众文本（如百科全书或新闻文本）中的表现是否存在显著差异，以挑战领域独立性的假设。
• 提供错误分析和可操作的见解，以改进科学和医学文本领域中的OIE系统。
• 开发并发布一个公开可用的科学句子语料库，包含众包标注结果，以供未来研究使用。
• 探索众包在评估科学文本中复杂、细微的信息抽取任务时的可行性和有效性，而无需专家标注者。

提出的方法

• 本研究在10个不同科学学科的文本上评估了两种最先进OIE系统——开放信息抽取（OIE）和MinIE。
• 采用众包方式对76个独特科学句子中的138个OIE三元组进行标注，每个三元组由多名标注者判断其正确性。
• 判断标准为提取的三元组是否准确反映了原句的语义，不依赖于预定义的黄金标准抽取结果。
• 评估重点在于正确性，而非与固定黄金标准的重叠度，从而允许灵活识别表述不同但语义等价的抽取结果。
• 通过将错误抽取归类为代词误用、复杂句子处理错误和缩写混淆等模式，进行了错误分析。
• 本研究发布了完整的数据集、标注结果和分析过程，以支持可复现性及未来基准测试。

实验结果

研究问题

• RQ1 OIE在科学文本与一般受众内容（如百科全书或新闻文本）中的表现是否存在显著差异？
• RQ2 最先进OIE系统在科学和医学文本中的表现是否相当，还是特别受到领域特定语言特征的挑战？
• RQ3 科学文献中OIE抽取的主导错误模式是什么？这些错误与句法、语义和词汇复杂性有何关联？
• RQ4 在无需专家标注者的情况下，众包能否有效用于评估科学文本中复杂、上下文敏感的信息抽取？
• RQ5 为应对科学出版物的语言复杂性，OIE系统最需要在哪些方面进行改进？

主要发现

• OIE系统在科学文本上的表现显著低于百科全书或一般网络文本，否定了领域独立性的假设。
• 最常见的错误类型是论元或谓词边界检测错误，尤其在包含多个从句和修饰语的长复杂句中更为明显。
• 将代词（如'he'）作为主语导致错误抽取，例如在共指消解失败的情况下错误地将'he'视为有效主语。
• 将缩写用作形容词（如'BMP antagonists'与'BMP pathway'）常导致误解，从而产生错误的三元组。
• 数学公式和变量替换（如MinIE中的QUANT_1）常导致无信息量或错误的抽取结果，即使已按说明处理。
• 本研究识别出共指消解、介词短语处理以及对非语法句结构的容忍度是未来OIE系统改进的关键领域。