[论文解读] InstructIE: A Bilingual Instruction-based Information Extraction Dataset

Honghao Gui, Qiao, Shuofei+7 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 7

一句话总结

本文提出了一种新型任务——基于指令的信息抽取（Instruction-based Information Extraction, IE），即模型根据自然语言指令从文本中抽取关系三元组。作者构建了InstructIE数据集——包含27万个弱监督的中文维基百科样本和1,000个众包标注样本，并表明尽管当前模型表现尚可，但在实体边界检测和指令遵循方面仍存在显著挑战，尤其在面对未见过的关系类型时更为明显。

ABSTRACT

Large language models can perform well on general natural language tasks, but their effectiveness is still suboptimal for information extraction (IE). Recent works indicate that the main reason lies in the lack of extensive data on IE instructions. Note that the existing datasets on IE instructions not only have limited coverage but also involve high construction costs. To address this issue, we introduce InstructIE, a bilingual instruction-based IE dataset, which covers 12 diverse domains. We propose KG2Instruction, a framework specifically for the automatic generation of such datasets. Additionally, we manually annotate the test set. Experimental results demonstrate that large language models trained with InstructIE can not only obtain better IE capabilities but also enhance zero-shot performance compared with baselines.

研究动机与目标

• 解决现有任务特定信息抽取架构缺乏适应性和跨领域泛化能力的问题。
• 提出一种新型信息抽取范式——基于指令的信息抽取，即模型根据自然语言指令抽取结构化信息。
• 构建大规模、高质量的数据集（InstructIE），用于训练和评估基于指令的信息抽取模型。
• 在InstructIE基准上评估基线模型，并识别指令遵循与实体抽取中的关键失败模式。
• 深入探讨在指令驱动的信息抽取中，对新型实体和关系类型实现零样本泛化的挑战。

提出的方法

• 将任务建模为序列到序列的生成问题，输入包含指定抽取需求和输出格式的自然语言指令。
• 指令格式定义为 $\mathcal{I} = \mathcal{S} \cup \mathcal{T}$，其中 $\mathcal{S}$ 为可自定义的实体/关系类型列表，$\mathcal{T}$ 为输出格式（如JSON或三元组格式）。
• 利用维基数据作为知识源，对27万个中文维基百科段落应用弱监督，生成合成的指令-抽取配对。
• 通过众包方式收集1,000个高质量标注样本，确保指令与关系的准确对齐及三元组格式的正确性。
• 在1,000个标注样本上对基线模型（包括ChatGPT和CaMA等大语言模型）进行微调与评估，使用标准信息抽取指标。
• 开展详细的错误分析，将预测失败归类为六类：头实体错误、关系错误、尾实体错误、冗余、未定义关系和其他。

实验结果

研究问题

• RQ1 现有大语言模型在零样本或少样本设置下，能否良好遵循自然语言指令以抽取关系三元组？
• RQ2 基于指令的信息抽取中主要的失败模式是什么，特别是实体边界检测和关系幻觉问题？
• RQ3 在多大程度上可以利用来自维基百科和维基数据的弱监督数据来预训练基于指令的信息抽取模型？
• RQ4 在处理未见过的关系或实体时，指令遵循模型在不同错误类型上的表现如何，尤其在性能退化方面？
• RQ5 在实现对训练中未见的新实体和关系类型的鲁棒泛化方面，面临哪些关键挑战？

主要发现

• 当前最先进模型在InstructIE基准上表现尚可，但仍有显著提升空间，尤其在实体边界检测方面。
• 最常见的错误类型是“实体错误”（头实体或尾实体错误），表明在精确跨度检测方面存在局限，尤其对尾实体更为明显。
• “其他”类错误（预测内容基本无关或格式错误）占比很高，表明模型在生成控制和指令遵循方面存在困难。
• ChatGPT在“未定义关系”错误上表现相对较差，表明其倾向于生成不在指定候选集中的关系。
• CaMA整体表现最佳，尤其在减少“其他”和“冗余”错误方面，体现出更强的生成控制能力和指令遵循能力。
• 所有模型在“关系错误”和“未定义关系”错误上均表现出较低错误率，表明与指令中指定的关系集合有良好对齐，但实体层面的错误导致性能显著下降。