[论文解读] InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction
InstructUIE 将信息提取任务重新表述为在任务指令和选项引导下的自然语言生成,在 NER、RE 和 EE 基准上实现强的监督学习与零样本结果。
Large language models have unlocked strong multi-task capabilities from reading instructive prompts. However, recent studies have shown that existing large models still have difficulty with information extraction tasks. For example, gpt-3.5-turbo achieved an F1 score of 18.22 on the Ontonotes dataset, which is significantly lower than the state-of-the-art performance. In this paper, we propose InstructUIE, a unified information extraction framework based on instruction tuning, which can uniformly model various information extraction tasks and capture the inter-task dependency. To validate the proposed method, we introduce IE INSTRUCTIONS, a benchmark of 32 diverse information extraction datasets in a unified text-to-text format with expert-written instructions. Experimental results demonstrate that our method achieves comparable performance to Bert in supervised settings and significantly outperforms the state-of-the-art and gpt3.5 in zero-shot settings.
研究动机与目标
- 以指令微调的LLM来推动统一信息提取(UIE),弥合 IE 任务中的性能差距。
- 提出一个多任务指令微调框架,使用描述性任务指令和输出约束。
- 引入辅助任务以丰富结构理解和跨任务泛化。
- 创建 IE INSTRUCTIONS,一个统一的 32-dataset 基准,用于在有监督和零样本情景下评估 UIE。
提出的方法
- 将 IE 任务重新表述为一个包含四个输入的 seq2seq 设置:任务指令、选项、文本和输出。
- 使用选项机制将输出空间约束为每个任务的候选标签(例如 NER 标签、RE 关系、EE 事件类型)。
- 引入辅助任务(NER 的跨度提取与类型标注;RE 的实体对提取与关系分类;EE 的触发词与论元提取)以加深语义理解。
- 将 32 个 IE 数据集统一为文本到文本格式(IE INSTRUCTIONS),并对标签方案进行规范化与自然语言标签格式化。
- 在多样化的 IE 任务上训练一个单一的 11B Flan-T5 模型进行指令微调,并在有监督和零样本设置下评估。
实验结果
研究问题
- RQ1经过指令微调的 LLMs 是否能够在一个统一框架内普遍处理 NER、RE 与 EE?
- RQ2任务指令和标签约束如何影响生成质量与各 IE 任务的遵从性?
- RQ3辅助任务是否在低资源或零样本设置下提升跨任务泛化和性能?
- RQ4在有监督和零样本条件下,InstructUIE 与专用的 IE 模型以及之前的 UIE/USM 方法相比如何?
- RQ5统一标签方案并转换为文本到文本格式对跨数据集 IE 性能的影响是什么?
主要发现
- InstructUIE 在有监督的 IE 任务中达到与 BERT 相当的性能。
- 在零样本设置下,InstructUIE 在若干 IE 任务上显著超越了最先进模型和 GPT-3.5。
- 在 NER 跨 20 个数据集上,InstructUIE 的平均 F1 为 85.19%,超过 BERT 的 80.09%。
- 在 RE 跨 8 个数据集上,InstructUIE 的平均 F1 为 67.98%,在 NYT(90.47%)等任务上表现突出。
- 在 EE 上,InstructUIE 的事件触发 F1 平均为 71.69%,事件论元 F1 超过基线,优势明显。
- IE INSTRUCTIONS,一个 32-dataset 的基准,能够在科学、医疗、社交媒体等领域对 UIE 进行标准化评估。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。