[论文解读] Information Extraction in Low-Resource Scenarios: Survey and Perspective

Shumin Deng, Ma, Yubo+3 more|arXiv (Cornell University)|Feb 16, 2022

Topic Modeling被引用 4

一句话总结

本综述全面回顾了低资源信息抽取（IE）方法，将传统方法与基于大语言模型（LLM）的方法细分为多个范式。通过实证评估发现，微调后的语言模型以及使用GPT系列模型进行上下文学习最为有效，最优解决方案因任务而异，为研究与工业应用提供了实用洞见。

ABSTRACT

Information Extraction (IE) seeks to derive structured information from unstructured texts, often facing challenges in low-resource scenarios due to data scarcity and unseen classes. This paper presents a review of neural approaches to low-resource IE from \emph{traditional} and \emph{LLM-based} perspectives, systematically categorizing them into a fine-grained taxonomy. Then we conduct empirical study on LLM-based methods compared with previous state-of-the-art models, and discover that (1) well-tuned LMs are still predominant; (2) tuning open-resource LLMs and ICL with GPT family is promising in general; (3) the optimal LLM-based technical solution for low-resource IE can be task-dependent. In addition, we discuss low-resource IE with LLMs, highlight promising applications, and outline potential research directions. This survey aims to foster understanding of this field, inspire new ideas, and encourage widespread applications in both academia and industry.

研究动机与目标

• 将低资源IE方法系统性地划分为传统范式与基于LLM的范式，以促进更好理解与对比。
• 在低资源设置下，实证评估基于LLM的方法相较于最先进（SOTA）传统模型的性能表现。
• 识别在低资源IE中最具成效的技术解决方案，综合考虑任务特定性能与调优策略。
• 突出展示有前景的应用场景，并提出面向鲁棒性、可靠性与可适应性低资源IE系统的未来研究方向。
• 为研究人员与从业者在实际低资源IE应用中选择最优方法提供指导。

提出的方法

• 将传统低资源IE划分为三大范式：利用更高资源数据、开发更强的数据高效模型，以及联合优化数据与模型。
• 将基于LLM的方法划分为无需微调的直接推理（如使用示例进行提示）与通过微调实现模型专业化的两类。
• 开展实证研究，对比基于LLM的方法与传统SOTA模型在低资源IE基准上的表现。
• 使用GPT系列模型进行上下文学习（ICL）并微调开源LLM，以评估其在各类任务中的性能表现。
• 采用标准的低资源IE基准测试模型性能，并分析在数据稀缺与未见类别下的泛化能力。
• 提出未来研究方向，如主动学习、合成数据生成以及人机协同反馈，以提升系统的鲁棒性与可解释性。

实验结果

研究问题

• RQ1 在低资源IE场景中，直接推理与微调哪种基于LLM的方法表现更优？
• RQ2 经过良好调优的大语言模型相较于以往的SOTA模型，在低资源IE任务中表现如何？
• RQ3 使用GPT系列模型进行上下文学习在多样化低资源IE任务中具有多大程度的泛化能力？
• RQ4 影响低资源IE技术最优选择的关键因素是什么？这些因素如何随任务而变化？
• RQ5 如何有效利用LLM不仅作为抽取器，还作为数据生成或样本重排序的辅助工具？

主要发现

• 经过良好调优的大语言模型仍是低资源信息抽取中最有效的方案，优于许多以往的SOTA模型。
• 使用GPT系列模型进行上下文学习展现出强大潜力，尤其在结合有效提示设计与少样本示例时。
• 微调开源LLM在大多数低资源IE任务中表现优于零样本提示，表明任务特定适应具有显著价值。
• 低资源IE的最优LLM解决方案高度依赖于具体任务，不存在在所有场景下均占优的单一方法。
• 在低资源环境下，LLM作为主要抽取器效果较差，主要受限于模式复杂性与有限的少样本泛化能力，但作为难样本重排序器表现优异。
• LLM可通过辅助纠正与重排序挑战性预测，显著提升小型模型的性能，表明协作建模是一种可行策略。