[论文解读] An Empirical Study on Information Extraction using Large Language Models

Ridong Han, Chaohao Yang+5 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 48

一句话总结

本研究在零样本、少样本 ICL 和少样本链式思维下，在 14 个 IE 子任务、17 个数据集上评估 ChatGPT，揭示与 SOTA 存在显著差距、提出软匹配评估方法、鲁棒性见解以及常见错误类型。

ABSTRACT

Human-like large language models (LLMs), especially the most powerful and popular ones in OpenAI's GPT family, have proven to be very helpful for many natural language processing (NLP) related tasks. Therefore, various attempts have been made to apply LLMs to information extraction (IE), which is a fundamental NLP task that involves extracting information from unstructured plain text. To demonstrate the latest representative progress in LLMs' information extraction ability, we assess the information extraction ability of GPT-4 (the latest version of GPT at the time of writing this paper) from four perspectives: Performance, Evaluation Criteria, Robustness, and Error Types. Our results suggest a visible performance gap between GPT-4 and state-of-the-art (SOTA) IE methods. To alleviate this problem, considering the LLMs' human-like characteristics, we propose and analyze the effects of a series of simple prompt-based methods, which can be generalized to other LLMs and NLP tasks. Rich experiments show our methods' effectiveness and some of their remaining issues in improving GPT-4's information extraction ability.

研究动机与目标

• 评估 ChatGPT 在跨多个数据集与子任务的信息提取（IE）任务中的表现。
• 调查在情境学习（ICL）和链式思维（COT）提示下对 IE 表现的影响。
• 分析鲁棒性和错误模式，以识别局限性和数据质量问题。
• 提出一种软匹配评估策略，以更好地反映 ChatGPT 的跨度预测。

提出的方法

• 在零样本、5-shot ICL 和 5-shot COT 设置下，评估 ChatGPT 在涵盖 14 个 IE 子任务的 17 个数据集上的表现。
• 为每个子任务设计并比较五个零样本提示，以衡量提示敏感性并报告均值和标准差。
• 通过从训练集中选择最佳的零样本提示并添加五个演示示例，构建少样本 ICL 提示；通过手动构建的链式思维解释添加来构建少样本 COT 提示。
• 引入软匹配评估策略，考虑 ChatGPT 产生的更长或包含限定词的跨度，使用基于编辑距离的相似度，阈值 gamma。
• 将 ChatGPT 的结果与最先进的方法（SOTA）进行比较，使用 F1 作为评估指标，并报告相对于 SOTA 的比率。
• 通过检查无效输出、无关上下文、目标类型频率和实体顺序敏感性，提供鲁棒性分析。

实验结果

研究问题

• RQ1 在零样本、少样本 ICL 和少样本 COT 设置下，ChatGPT 在 14 个 IE 子任务、17 个数据集上的表现如何？
• RQ2 少样本 ICL 和 COT 提示在多大程度上改善或未能缩小与 SOTA 的差距？
• RQ3 评估标准（硬匹配 vs 软匹配）如何影响对 IE 任务中 ChatGPT 的测量性能？
• RQ4 使用 ChatGPT 进行 IE 时，主要的鲁棒性挑战与错误类型是什么？
• RQ5 数据标注质量是否会受到或通过使用 ChatGPT 在标注工作流中得到改进？

主要发现

• 在ChatGPT与SOTA方法之间存在显著的性能差距，且任务越困难差距越大。
• 少样本 ICL 通常能提升结果（大约 3–13 的 F1 点），但通常未达到 SOTA；少样本 COT 不保证比 ICL 获得的提升。
• 软匹配评估相对于硬匹配带来持续的提升，在某些 ABSA 子任务中最高可达到 14.53 的 F1 点，但仍未达到 SOTA 水平。
• ChatGPT 很少输出无效响应，但无关上下文和长尾目标类型会显著降低性能，而在 RE 任务中主语–宾语理解有限。
• 未注释的跨度是主要错误类型（约三分之一的错误），引发对标注质量的担忧，并建议有望实现 ChatGPT 辅助标注。
• ChatGPT 对 RE 任务中的实体顺序敏感性有限，表明对某些主–宾关系的理解较弱。