[论文解读] Empirical Study of Zero-Shot NER with ChatGPT

Tingyu Xie, Qi Li+4 more|arXiv (Cornell University)|Oct 16, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出并评估了四种增强推理的策略——分解问题问答、句法提示、工具增强和两阶段自一致性投票——以提升使用 ChatGPT 进行零样本命名实体识别（NER）的性能。这些方法在七个多样化的基准测试中显著提升了性能，涵盖多语言和领域特定的数据集，表明结构化推理技术能够激发大型语言模型在零样本 NER 任务中的强大能力。

ABSTRACT

Large language models (LLMs) exhibited powerful capability in various natural language processing tasks. This work focuses on exploring LLM performance on zero-shot information extraction, with a focus on the ChatGPT and named entity recognition (NER) task. Inspired by the remarkable reasoning capability of LLM on symbolic and arithmetic reasoning, we adapt the prevalent reasoning methods to NER and propose reasoning strategies tailored for NER. First, we explore a decomposed question-answering paradigm by breaking down the NER task into simpler subproblems by labels. Second, we propose syntactic augmentation to stimulate the model's intermediate thinking in two ways: syntactic prompting, which encourages the model to analyze the syntactic structure itself, and tool augmentation, which provides the model with the syntactic information generated by a parsing tool. Besides, we adapt self-consistency to NER by proposing a two-stage majority voting strategy, which first votes for the most consistent mentions, then the most consistent types. The proposed methods achieve remarkable improvements for zero-shot NER across seven benchmarks, including Chinese and English datasets, and on both domain-specific and general-domain scenarios. In addition, we present a comprehensive analysis of the error types with suggestions for optimization directions. We also verify the effectiveness of the proposed methods on the few-shot setting and other LLMs.

研究动机与目标

• 研究 ChatGPT 在命名实体识别（NER）这一核心信息抽取任务上的零样本推理能力。
• 解决当前对大型语言模型（LLMs）在无需微调的情况下执行结构化预测任务（如 NER）时表现的理解空白。
• 设计并评估新颖的提示工程与推理策略，以激发 LLM 在 NER 任务中的推理能力，从而提升零样本 NER 性能。
• 对基于 LLM 的 NER 的错误类型进行全面分析，并提出优化方向。
• 验证所提方法在零样本之外的泛化能力，包括少样本设置及其他 LLM。

提出的方法

• 分解问题问答：将 NER 任务按标签拆分为子任务，通过提示模型一次仅提取某一类别的实体。
• 句法提示：引导模型在识别实体前先分析句法结构（如词性标注、依存树）。
• 工具增强：将外部句法解析结果（如词性标注、依存树）作为输入提供给模型，以提升其推理能力。
• 两阶段多数投票：通过两步自一致性机制实现，首先对一致的实体提及进行投票，再对一致的实体类型进行投票。
• 所有方法均在零样本设置下应用，未进行微调或使用标注示例。
• 该方法在七个基准测试上进行评估，涵盖通用领域和领域特定的英文与中文数据集。

实验结果

研究问题

• RQ1 能否有效将链式思维和自一致性等结构化推理技术适配到 LLM 的零样本 NER 任务中？
• RQ2 句法提示和工具增强解析在基于 LLM 的 NER 中如何改善推理过程？
• RQ3 分解问题问答对零样本设置下的实体识别性能有何影响？
• RQ4 基于 LLM 的 NER 中的错误模式在不同领域和语言间如何变化？这些模式为优化提供了哪些启示？
• RQ5 所提方法是否能泛化到其他 LLM 及少样本设置，而不仅限于 ChatGPT？

主要发现

• 所提方法在七个基准测试中均显著提升了零样本 NER 性能，涵盖通用领域和领域特定数据集。
• 句法提示和工具增强通过增强模型的中间推理步骤，持续提升性能。
• 两阶段自一致性策略优于标准自一致性方法，其优势在于先聚合一致的实体提及，再对实体类型进行投票。
• 该方法在英文和中文 NER 数据集上均取得优异表现，证明了其跨语言泛化能力。
• 错误分析揭示了常见的失败模式，如过度提及和误分类，为未来优化提供了方向。
• 这些策略在少样本设置和其他 LLM 上也表现出良好的泛化能力，证实了其在 ChatGPT 之外的稳健性。