[论文解读] MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks

Letian Peng, Zilong Wang+3 more|arXiv (Cornell University)|Mar 30, 2024

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

MetaIE 提出了一种框架，从大型语言模型（LLMs）蒸馏出一个元模型，用于在多种任务中实现零样本和少样本信息抽取（IE）。通过使用从 LLM 生成的合成数据集中的标签到跨度指令进行符号蒸馏，MetaIE 使小型模型能够在 13 个 IE 数据集中有效泛化，其表现优于从原始预训练、多任务微调和单任务蒸馏获得的基线模型。

ABSTRACT

Information extraction (IE) is a fundamental area in natural language processing where prompting large language models (LLMs), even with in-context examples, cannot defeat small LMs tuned on very small IE datasets. We observe that IE tasks, such as named entity recognition and relation extraction, all focus on extracting important information, which can be formalized as a label-to-span matching. In this paper, we propose a novel framework MetaIE to build a small LM as meta-model by learning to extract "important information", i.e., the meta-understanding of IE, so that this meta-model can be adapted to all kind of IE tasks effectively and efficiently. Specifically, MetaIE obtains the small LM via a symbolic distillation from an LLM following the label-to-span scheme. We construct the distillation dataset via sampling sentences from language model pre-training datasets (e.g., OpenWebText in our implementation) and prompting an LLM to identify the typed spans of "important information". We evaluate the meta-model under the few-shot adaptation setting. Extensive results on 13 datasets from 6 IE tasks confirm that MetaIE can offer a better starting point for few-shot tuning on IE datasets and outperform other meta-models from (1) vanilla language model pre-training, (2) multi-IE-task pre-training with human annotations, and (3) single-IE-task symbolic distillation from LLM. Moreover, we provide comprehensive analyses of MetaIE, such as the size of the distillation dataset, the meta-model architecture, and the size of the meta-model.

研究动机与目标

• 解决尽管 LLM 具备广泛能力，但在信息抽取任务中仍存在效率低下和少样本性能差的问题。
• 开发一个统一的小型语言模型元模型，无需针对特定任务进行微调，即可在多种 IE 任务中泛化。
• 探究是否可以通过标签到跨度的形式化，将 LLM 蒸馏为对“重要信息”抽取的元理解。
• 评估基于 LLM 生成数据的符号蒸馏相较于人工标注或任务特定预训练的有效性。
• 确定蒸馏 IE 元理解的最优模型和数据规模边界。

提出的方法

• 通过从 OpenWebText 中采样 100,000 个句子，并使用 GPT-3.5-turbo 提示识别各种 IE 标签的“重要信息”类型跨度，构建合成蒸馏数据集。
• 将所有 IE 任务形式化为标签到跨度的指令：给定标签 l，从输入文本中提取一个跨度，从而实现统一的蒸馏方案。
• 使用标准微调和交叉熵损失，从 LLM 生成的数据集中对小型学生模型进行符号蒸馏。
• 支持多种模型架构：序列标注（如 RoBERTa）、序列到序列（如 BART、T5）和因果语言模型（如 GPT2、OPT），并保持标签-跨度格式一致。
• 在下游 IE 数据集上进行少样本微调，以评估元模型的迁移能力和泛化性能。
• 对蒸馏数据集大小、学生模型大小和架构进行消融研究，分析缩放行为和性能权衡。

实验结果

研究问题

• RQ1 能否从 LLM 中有效蒸馏出一个小型语言模型，作为所有 IE 任务的通用元模型？
• RQ2 使用 LLM 生成的标签到跨度对进行符号蒸馏，是否优于人工标注的多任务预训练或原始预训练？
• RQ3 实现 IE 元理解的最优蒸馏数据集和学生模型大小是多少？
• RQ4 模型架构的选择（如序列标注 vs. 序列到序列 vs. 因果语言模型）如何影响蒸馏效果？
• RQ5 该元模型是否能很好地泛化到分布外的 IE 数据集，如 SRL、ABSA 和 ASTE？

主要发现

• 在 6 种 IE 任务的 13 个数据集中，MetaIE 在少样本设置下优于基于原始预训练、多 IE 任务人工标注预训练和单 IE 任务符号蒸馏的元模型。
• 在所有架构中，基于 RoBERTa 的序列标注模型表现最佳，优于参数量相近的 BERT、BART、T5、GPT2 和 OPT。
• 80K–160K 个句子的蒸馏数据集已足够使学生模型获得 IE 的元理解，甚至 10K 个样本也能带来显著提升。
• 模型性能随参数量增加而提升，更大的模型在复杂或领域特定任务中泛化能力更强。
• MetaIE 实现了强大的少样本迁移性能，通常在分布内数据集中达到或超过特定任务蒸馏的效果，证明了其通用性。
• MetaIE 的成功并非仅源于 LLM，而是源于标签到跨度的形式化，因为基于人工标注的 LLM 输出蒸馏效果较差。