[论文解读] Learning to Extract Structured Entities Using Language Models

Haolun Wu, Ye Yuan+5 more|arXiv (Cornell University)|Feb 6, 2024

Data Quality and Management被引用 4

一句话总结

本文提出了结构化实体抽取（SEE），这是一个将命名实体识别、属性抽取和关系抽取统一在预定义模式下的新任务。作者提出MuSEE，一种基于大语言模型的多阶段模型，通过将抽取过程分解为并行阶段，提升了有效性和效率，在基准数据集上实现了最先进性能，表现出更优的鲁棒性与更少的幻觉现象，经定量评估与人工评估验证。

ABSTRACT

Recent advances in machine learning have significantly impacted the field of information extraction, with Language Models (LMs) playing a pivotal role in extracting structured information from unstructured text. Prior works typically represent information extraction as triplet-centric and use classical metrics such as precision and recall for evaluation. We reformulate the task to be entity-centric, enabling the use of diverse metrics that can provide more insights from various perspectives. We contribute to the field by introducing Structured Entity Extraction and proposing the Approximate Entity Set OverlaP (AESOP) metric, designed to appropriately assess model performance. Later, we introduce a new Multistage Structured Entity Extraction (MuSEE) model that harnesses the power of LMs for enhanced effectiveness and efficiency by decomposing the extraction task into multiple stages. Quantitative and human side-by-side evaluations confirm that our model outperforms baselines, offering promising directions for future advancements in structured entity extraction. Our source code and datasets are available at https://github.com/microsoft/Structured-Entity-Extraction.

研究动机与目标

• 将结构化实体抽取（SEE）任务正式化并定义为一个统一的挑战，整合命名实体识别、属性抽取、关系抽取与共指消解。
• 针对SEE缺乏合适评估指标的问题，提出近似实体集重叠（AESOP）指标，并设计多种变体。
• 通过一种新颖的多阶段架构，提升基于大语言模型的结构化实体抽取的有效性与效率。
• 通过分析对输入文本的对齐程度，评估模型对扰动的鲁棒性，并减少幻觉现象。
• 通过定量基准测试与人工并排评估验证模型性能。

提出的方法

• 将SEE形式化为封闭式信息抽取任务，其中所有实体类型与属性键均受预定义模式约束。
• 提出AESOP指标，即一组面向比较预测与真实结构化实体集的集合相似性度量，包含针对精确率、召回率与最大F1的变体。
• 设计MuSEE，一种基于大语言模型的多阶段模型，将实体抽取分解为顺序阶段：实体识别、属性抽取与关系预测，支持并行处理并减少标记生成。
• 通过阶段式分解与聚焦预测，最小化冗余标记生成，优化推理效率。
• 通过在测试数据中使用基于类别的替换方法扰动属性值，实施对齐检查，测量性能下降以评估模型对输入文本的依赖程度与对预训练知识的依赖程度。
• 采用少样本提示与指令微调，引导大语言模型生成与模式一致的结构化JSON输出。

Figure 1: Illustration of the structured entity extraction task. Given a text description as well as some predefined schema containing all the candidates of entity types and property keys, our task aims to output a structured json for all entities in the text with their information.

实验结果

研究问题

• RQ1 如何在模式约束下，将结构化实体抽取正式定义为一个统一的NLP任务，整合命名实体识别、属性抽取与关系抽取？
• RQ2 在比较预测与真实实体集（含属性）时，哪种评估指标最能捕捉结构化实体抽取的质量？
• RQ3 与端到端基线相比，基于大语言模型的多阶段架构能否同时提升结构化实体抽取的有效性与效率？
• RQ4 大语言模型在多大程度上产生幻觉或依赖预训练知识，而非基于输入文本进行对齐？
• RQ5 模型性能在不同属性类型上如何变化，特别是稀有或稀疏属性？

主要发现

• 在基于Wikidata的数据集上，MuSEE在所有基线模型中表现最佳，AESOP-MultiProp-Max得分最高，在人工完整性评估中获得61.75%的偏好率。
• MuSEE在扰动数据上的性能下降最小，表明其对输入文本的对齐更强，幻觉现象更少，优于其他模型。
• 在属性层面分析中，MuSEE在所有属性上均持续优于基线模型，尤其在频繁属性（如'type'和'entity name'）上提升显著，在稀有属性（如'capital'）上也表现强劲。
• 所有模型（包括MuSEE）在稀疏属性（如'place of death'和'occupation'）上表现均较差，表明数据稀疏性是主要挑战。
• 人工评估确认MuSEE在正确性（59.32%偏好）与幻觉减少（57.13%偏好）方面表现更优，与定量结果一致。
• MuSEE的多阶段设计通过减少标记生成，在保持高准确率的同时提升了推理效率，展现出有利的有效性-效率权衡。

Figure 2: The pipeline of our proposed MuSEE model, which is built on an encoder-decoder architecture. The input text only needs to be encoded once. The decoder is shared for all the following three stages. All predictions within each stage can be processed in parallel, and teacher forcing enables p