[论文解读] A Scientific Information Extraction Dataset for Nature Inspired Engineering

Ruben Kruiper, Julian F. V. Vincent+3 more|arXiv (Cornell University)|May 15, 2020

Topic Modeling参考文献 52被引用 4

一句话总结

本文提出了 FOBIE，一个包含 1,500 个经人工标注的科学生物学句子的数据集，专注于提取领域无关的关系——尤其是权衡关系——在关键生物学概念之间的关系。该数据集支持关系抽取模型的训练与评估，尽管存在句法变异和长句等挑战，最先进的神经模型（SciIE）在权衡关系上的表现尤为出色。

ABSTRACT

Nature has inspired various ground-breaking technological developments in applications ranging from robotics to aerospace engineering and the manufacturing of medical devices. However, accessing the information captured in scientific biology texts is a time-consuming and hard task that requires domain-specific knowledge. Improving access for outsiders can help interdisciplinary research like Nature Inspired Engineering. This paper describes a dataset of 1,500 manually-annotated sentences that express domain-independent relations between central concepts in a scientific biology text, such as trade-offs and correlations. The arguments of these relations can be Multi Word Expressions and have been annotated with modifying phrases to form non-projective graphs. The dataset allows for training and evaluating Relation Extraction algorithms that aim for coarse-grained typing of scientific biological documents, enabling a high-level filter for engineers.

研究动机与目标

• 为解决在仿生工程中工程师获取相关生物学信息的挑战，其中领域特定术语和概念差异阻碍了信息发现。
• 开发一个数据集，以支持从科学生物学文本中抽取高层次、领域无关的关系——尤其是权衡关系——以实现跨领域的文献发现。
• 提供一个用于训练和评估关系抽取模型的资源，这些模型能够识别涉及多词表达和修饰短语的复杂非投射关系。
• 通过创建高质量、人工标注的数据集，克服基于规则的系统和远程监督的局限性，该数据集针对科学生物学文本的句法和语义复杂性进行了定制。

提出的方法

• FOBIE 数据集由 1,548 个独立句子组成，源自 1,292 篇唯一的全文科学生物学文献，训练集（1,248 个）、开发集（150 个）和测试集（150 个）之间无重叠。
• 每个句子均以触发词、论元短语（核心概念）和修饰短语之间的非投射、n-元关系进行标注，形成句法复杂的图结构。
• 关键词未预先分类为实体类型，该数据集聚焦于权衡、相关性以及论元修饰等关系，这些关系对于抽象生物问题空间至关重要。
• 采用最先进的神经关系抽取模型 SciIE，在 FOBIE 上进行微调，使用基于跨度的分类方法，并联合学习实体与关系，采用 ELMo 嵌入和双向 LSTM 表示。
• 模型采用最多 14 个词符的候选跨度生成（以处理长关键词短语），利用注意力机制识别句法核心，通过联合优化实现跨度和关系预测。
• 还评估了一个基于规则的系统（RBS）作为基线，以比较性能，结果表明神经方法在复杂句法模式上更具优势。

实验结果

研究问题

• RQ1 一个经人工标注的、领域无关的关系抽取数据集能否提升工程师在科学生物学文本中识别权衡及相关关系的能力？
• RQ2 像 SciIE 这类神经关系抽取模型在捕捉涉及多词表达和修饰短语的复杂非投射关系方面效果如何，尤其是在长科学句子中？
• RQ3 权衡关系表达中的句法变异在多大程度上阻碍了基于规则的系统？神经模型能否克服这一局限？
• RQ4 关系抽取模型在不同关系类型上的表现如何，特别是权衡关系与论元修饰关系或非权衡关系相比？

主要发现

• 神经模型 SciIE 在识别触发词和论元短语的正确边界方面显著优于基于规则的系统（RBS），证明了深度学习在复杂句法模式上的优势。
• 尽管整体数据集中非权衡关系（54.05%）和论元修饰关系（29.73%）占主导，SciIE 在权衡关系抽取上仍表现出色，精度和召回率均高于其他关系类型。
• 模型在论元修饰关系上的表现明显较差，原因在于论元修饰方式的句法变异性极高，凸显了科学信息抽取中的一个关键挑战。
• 数据集规模（1,500 个句子）与现有科学信息抽取数据集相当，但 FOBIE 独特地聚焦于对仿生设计至关重要的领域无关关系。
• 人工标注过程确保了高质量、非标准化的关键词短语，这些短语在标准知识库中无法找到，从而实现了无需依赖远程监督的训练。
• FOBIE 已公开发布，并附有标注指南，以支持可复现性，推动跨学科工程应用中的科学信息抽取研究。