[论文解读] Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!

Yubo Ma, Yixin Cao+2 more|arXiv (Cornell University)|Mar 15, 2023

Topic Modeling被引用 5

一句话总结

该论文表明，与微调的小型语言模型（SLMs）相比，大型语言模型（LLMs）在少样本信息抽取任务中表现不佳，但在重排序SLMs遗漏的难样本方面表现出色。作者提出一种‘过滤-重排序’框架，其中SLMs作为过滤器，LLMs作为重排序器，该框架在多个少样本IE任务中实现了稳定的2.4% F1分数提升，且额外延迟和成本极低。

ABSTRACT

Large Language Models (LLMs) have made remarkable strides in various tasks. Whether LLMs are competitive few-shot solvers for information extraction (IE) tasks, however, remains an open problem. In this work, we aim to provide a thorough answer to this question. Through extensive experiments on nine datasets across four IE tasks, we demonstrate that current advanced LLMs consistently exhibit inferior performance, higher latency, and increased budget requirements compared to fine-tuned SLMs under most settings. Therefore, we conclude that LLMs are not effective few-shot information extractors in general. Nonetheless, we illustrate that with appropriate prompting strategies, LLMs can effectively complement SLMs and tackle challenging samples that SLMs struggle with. And moreover, we propose an adaptive filter-then-rerank paradigm to combine the strengths of LLMs and SLMs. In this paradigm, SLMs serve as filters and LLMs serve as rerankers. By prompting LLMs to rerank a small portion of difficult samples identified by SLMs, our preliminary system consistently achieves promising improvements (2.4% F1-gain on average) on various IE tasks, with an acceptable time and cost investment.

研究动机与目标

• 评估LLMs在多样化低资源IE任务中，与微调的SLMs相比，作为少样本信息抽取器的有效性。
• 探究在不同少样本设置和数据稀缺条件下，LLMs与SLMs之间的性能差距。
• 识别LLMs优于SLMs的样本类型，特别是SLMs能力范围之外的难样本。
• 设计一种混合框架，结合LLMs和SLMs的优势，以提升少样本IE性能。

提出的方法

• 作者在涵盖四种IE任务（命名实体识别、关系抽取、事件检测和事件论元抽取）的九个数据集上，对比了LLMs的零样本上下文学习与微调SLMs的表现。
• 通过多样化提示策略（包括指令设计、示范样本数量、选择策略和提示格式）评估LLMs的鲁棒性和敏感性。
• 基于SLMs的置信度分数对样本进行难度分类，从而分析LLMs在易样本与难样本上的表现。
• 提出一种新颖的‘过滤-重排序’框架：SLMs首先预测标签并过滤掉易样本；将难样本传递给LLMs，通过针对性提示进行重排序。
• 仅将SLMs输出的前N个最可能的候选标签输入LLMs进行重排序，从而最小化推理成本和延迟。
• 最终预测结果结合SLMs对易样本的输出和LLMs对难样本的重排序结果，充分发挥两者优势。

Figure 1: Examples of prompts used. The green, blue and black parts in the top boxes represent the instruction, demonstration (demo) and test sentence in the prompt respectively. The red parts represent the outputs from LLMs. We plot only 1 example for convenience of visualization. The actual demo n

实验结果

研究问题

• RQ1 LLMs在多样化低资源IE任务中，与微调的SLMs相比，是否具备作为少样本信息抽取器的竞争力？
• RQ2 LLMs在易样本与难样本上的表现如何变化？该变化以SLMs的置信度分数为衡量标准。
• RQ3 尽管LLMs具备强大的推理能力，为何其在易样本上表现不佳？其高假阳性率的成因是什么？
• RQ4 LLMs能否通过仅重排序SLMs识别出的最具挑战性的样本，有效提升SLMs的性能？
• RQ5 何种最优混合框架能够结合SLMs与LLMs，以在可接受的成本和延迟下最大化F1分数？

主要发现

• 在九个数据集和四个任务中，LLMs在少样本信息抽取任务中始终表现弱于微调的SLMs，尤其当训练样本超过100个时更为明显。
• 与SLMs相比，LLMs的推理延迟和成本显著更高，使其在通用少样本IE任务中效率较低。
• LLMs在难样本（即SLMs误分类的样本）上表现优异，得益于其推理与知识能力，但在易样本上表现不佳。
• LLMs在易样本中的负样本上存在高假阳性率，导致其在易样本上的整体性能严重下降。
• 所提出的‘过滤-重排序’框架通过仅在SLMs识别出的难样本上使用LLMs，实现了跨任务平均2.4%的F1分数提升。
• 该框架通过仅重排序一小部分样本，保持了极低的额外成本和延迟，证明了其在少样本IE任务中的有效性和高效性。

(a) Named Entity Recognition (NER)