[论文解读] GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction
GoLLIE 是一个经过微调的 LLM,学会遵循注释指南,从而在未见的模式和领域中实现改进的零样本信息抽取。
Large Language Models (LLMs) combined with instruction tuning have made significant progress when generalizing to unseen tasks. However, they have been less successful in Information Extraction (IE), lagging behind task-specific models. Typically, IE tasks are characterized by complex annotation guidelines that describe the task and give examples to humans. Previous attempts to leverage such information have failed, even with the largest models, as they are not able to follow the guidelines out of the box. In this paper, we propose GoLLIE (Guideline-following Large Language Model for IE), a model able to improve zero-shot results on unseen IE tasks by virtue of being fine-tuned to comply with annotation guidelines. Comprehensive evaluation empirically demonstrates that GoLLIE is able to generalize to and follow unseen guidelines, outperforming previous attempts at zero-shot information extraction. The ablation study shows that detailed guidelines are key for good results.
研究动机与目标
- 在多样且复杂的注释指南下,激发零样本信息提取的挑战。
- 提出一个在推理阶段显式关注并遵循注释指南的模型。
- 展示相较于先前指令微调的 IE 方法,在零样本泛化方面的提升。
- 评估基于指南的训练正则化对泛化的影响。
提出的方法
- 使用带有模式、输入文本和输出注释的 Python 代码格式来表示 IE 任务的输入与输出。
- 将注释指南作为文档字符串和代码注释嵌入输入中以引导模型的预测。
- 应用训练正则化(类别顺序置乱、类别 dropout、指南改写、代表性候选样本抽样、类别名称屏蔽)以防止对数据集过拟合并促进指南遵循。
- 使用 QLoRA,在少量 IE 任务上微调 Code-LLaMA (7B,带 LoRA),并在 13B 与 34B 变体上也进行实验。
- 在零样本设置下,将 GoLLIE 与 SoTA 零-shot IE 基线(Instruct-UIE、Entailment-based IE、PromptNER)进行比较。

实验结果
研究问题
- RQ1是否可以训练一个语言模型在未见模式上通过持续遵循详细注释指南来改善零样本信息提取?
- RQ2与基线相比,面向指南的微调如何影响在 NER、EE 和 EAE 的零样本性能?
- RQ3每种正则化技术在实现指南遵循和泛化中的贡献是什么?
- RQ4模型规模如何影响在已见与未见标签上的零样本性能和指南遵循?
主要发现
- GoLLIE 相比基线和先前的零-shot 方法在零样本信息提取方面有显著提升,平均在所有数据集上约提高 13 个 F1 点。
- 在多数数据集的零-shot 评估中,GoLLIE 超越 Instruct-UIE 和 Entailment-based IE。
- 指南的存在使对未见模式的泛化能力更好,且较大模型在已见标签与未见标签之间的差距更小。
- 消融分析显示定义和代表性候选项起到有意义的作用,而某些正则化(例如改写、屏蔽)影响较小或对数据集依赖。
- 有监督评估表明,尽管用基于指南的噪声进行训练,GoLLIE 的性能仍与基线相近,具有竞争力。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。