[论文解读] ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT

Wei Xiang, Xingyu Cui+10 more|arXiv (Cornell University)|Feb 20, 2023

Topic Modeling被引用 143

一句话总结

ChatIE 将零-shot 信息抽取重新定位为在 ChatGPT 上的多轮问答任务，采用两阶段框架，提取实体关系、实体和事件，无需微调，在多个数据集上取得了强劲的结果。

ABSTRACT

Zero-shot information extraction (IE) aims to build IE systems from the unannotated text. It is challenging due to involving little human intervention. Challenging but worthwhile, zero-shot IE reduces the time and effort that data labeling takes. Recent efforts on large language models (LLMs, e.g., GPT-3, ChatGPT) show promising performance on zero-shot settings, thus inspiring us to explore prompt-based methods. In this work, we ask whether strong IE models can be constructed by directly prompting LLMs. Specifically, we transform the zero-shot IE task into a multi-turn question-answering problem with a two-stage framework (ChatIE). With the power of ChatGPT, we extensively evaluate our framework on three IE tasks: entity-relation triple extract, named entity recognition, and event extraction. Empirical results on six datasets across two languages show that ChatIE achieves impressive performance and even surpasses some full-shot models on several datasets (e.g., NYT11-HRL). We believe that our work could shed light on building IE models with limited resources.

研究动机与目标

• 提升零-shot 信息抽取的动机，减少标注工作量和时间。
• 探索大型语言模型是否能够形成一个统一的、基于提示的 IE 系统而无需微调。
• 开发一个两阶段、基于聊天的流水线，将复杂的 IE 任务分解为更简单的子任务。

提出的方法

• 利用 ChatGPT 将零-shot IE 转换为多轮问答过程。
• 阶段 I 在句子中识别现有的元素类型（例如实体类型、关系、事件类型）。
• 阶段 II 对识别出的类型执行串联提取，允许子任务之间存在依赖。
• 使用任务特定模板生成提示，并要求 ChatGPT 以表格或列表形式给出响应以获得结构化输出。
• 将轮次级输出整合为最终结构化数据（RE 三元组、NER 实体、EE 参数）。
• 在六个数据集上对英语和汉语的 RE、NER、EE 进行评估。

实验结果

研究问题

• RQ1 两阶段、基于聊天的提示框架是否能够实现跨多种 IE 任务的零-shot IE？
• RQ2 在多样数据集上，与完全监督和少量监督基线相比，ChatIE 在 RE、NER 和 EE 的表现如何？
• RQ3 将 IE 分解为多轮子任务对提取准确性和鲁棒性的影响如何？

主要发现

• 在 IE 任务上，使用单轮提示的原生 ChatGPT 表现不佳。
• ChatIE 的两阶段框架带来显著提升，在六个数据集上 F1 平均提高约 18.98 个百分点。
• ChatIE 在多个数据集（如 NYT11-HRL、DuIE2.0、DuEE1.0）上与若干全监督模型相媲美甚至超越，且无需微调。
• 在某些基线任务上，ChatIE 在 NYT11-HRL 上超过了有监督模型如 FCM 和 MultiR，突出显示了减少数据标注需求。
• 由于避免参数更新或微调，ChatIE 能在较少的计算量下获得具有竞争力的结果。