[论文解读] Automatic Context Pattern Generation for Entity Set Expansion

Yinghui Li, Shulin Huang+7 more|arXiv (Cornell University)|Jul 17, 2022

Topic Modeling被引用 4

一句话总结

本文提出 GAPA，一种与语料库无关的实体集合扩展框架，通过使用两个反向的 GPT-2 模型生成高质量的上下文模式，实现实体扩展而无需依赖标注语料库。该方法通过利用自动生成的上下文模式来引导基于相似性评分的迭代实体扩展，在基准数据集上实现了具有竞争力的性能。

ABSTRACT

Entity Set Expansion (ESE) is a valuable task that aims to find entities of the target semantic class described by given seed entities. Various Natural Language Processing (NLP) and Information Retrieval (IR) downstream applications have benefited from ESE due to its ability to discover knowledge. Although existing corpus-based ESE methods have achieved great progress, they still rely on corpora with high-quality entity information annotated, because most of them need to obtain the context patterns through the position of the entity in a sentence. Therefore, the quality of the given corpora and their entity annotation has become the bottleneck that limits the performance of such methods. To overcome this dilemma and make the ESE models free from the dependence on entity annotation, our work aims to explore a new ESE paradigm, namely corpus-independent ESE. Specifically, we devise a context pattern generation module that utilizes autoregressive language models (e.g., GPT-2) to automatically generate high-quality context patterns for entities. In addition, we propose the GAPA, a novel ESE framework that leverages the aforementioned GenerAted PAtterns to expand target entities. Extensive experiments and detailed analyses on three widely used datasets demonstrate the effectiveness of our method. All the codes of our experiments are available at https://github.com/geekjuruo/GAPA.

研究动机与目标

• 解决基于语料库的 ESE 方法严重依赖高质量人工标注语料库的局限性。
• 通过实现无需标注训练语料库的 ESE，消除实体标注质量带来的瓶颈。
• 探索一种新范式——与语料库无关的 ESE，其中上下文模式通过预训练语言模型自动生成。
• 通过利用捕捉细微语义差异的上下文模式，提升实体扩展性能。
• 开发一种通过迭代种子集合优化动态增强监督信号的框架。

提出的方法

• 该方法使用两个独立的 GPT-2 模型——一个从左到右自回归，另一个从右到左——为每个实体生成上下文模式（前文和后文）。
• 反向 GPT-2 模型在反转语料库上进行微调，以实现连贯的从右到左文本生成，确保高质量上下文模式的生成。
• 从生成的模式中提取上下文表征，基于相似实体共享相似上下文的假设计算实体相似性。
• 通过迭代扩展过程，根据候选实体与种子实体的上下文相似性进行评分，并在每轮中将排名靠前的实体加入种子集合。
• 监督信号增强模块通过实体相似性更新种子集合和候选集合，缓解监督信号稀疏的问题。
• 该框架完全端到端，无需任何标注语料库或实体标注，支持与语料库无关的运行。

实验结果

研究问题

• RQ1 能否在不依赖标注语料库的情况下有效生成用于实体集合扩展的上下文模式？
• RQ2 反向自回归语言模型能否生成流畅且相关的实体上下文模式？
• RQ3 使用自动生成模式的与语料库无关的 ESE 框架是否优于传统的基于语料库的方法？
• RQ4 生成的模式在多大程度上能区分细微的语义类别，例如国家内部的省份与城市？
• RQ5 该方法的失败模式是什么，特别是针对嵌套或模糊的实体提及？

主要发现

• GAPA 框架在三个广泛使用的 ESE 基准数据集上实现了具有竞争力的性能，且无需任何标注语料库或实体标注。
• 上下文模式生成模块生成了高质量、流畅且相关的模式，这通过在多样化语义类别上的定性案例研究得到验证。
• 使用双向 GPT-2 模型能够生成隐含编码相关实体的上下文模式，从而增强语义表征。
• 该方法能有效避免错误地将实体扩展到细微语义子类中，例如在‘中国省份’类别中准确区分‘安徽’（省份）与‘南京’（城市）。
• 模型偶尔会因上下文模式噪声而错误扩展嵌套实体（如‘密西西比河’），表明需要改进解码策略以减少误报。
• 实证结果证实，监督信号增强模块能有效缓解监督信号稀疏问题，提升迭代扩展的稳定性和准确性。