[论文解读] ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task

Roberto Martínez-Cruz, Alvaro J. López-López+1 more|arXiv (Cornell University)|Apr 27, 2023

Advanced Text Analysis Techniques被引用 5

一句话总结

本研究在涵盖科学和新闻领域的六个公开数据集上，对齐了SotA模型（包括KeyBART）在关键词生成任务中的表现，涵盖短文档与长文档。ChatGPT在所有设置中均优于所有基线模型，展现出在抽象式关键词生成、领域适应以及长文档处理方面的卓越性能，这得益于其更大的上下文窗口和多任务预训练。

ABSTRACT

Transformer-based language models, including ChatGPT, have demonstrated exceptional performance in various natural language generation tasks. However, there has been limited research evaluating ChatGPT's keyphrase generation ability, which involves identifying informative phrases that accurately reflect a document's content. This study seeks to address this gap by comparing ChatGPT's keyphrase generation performance with state-of-the-art models, while also testing its potential as a solution for two significant challenges in the field: domain adaptation and keyphrase generation from long documents. We conducted experiments on six publicly available datasets from scientific articles and news domains, analyzing performance on both short and long documents. Our results show that ChatGPT outperforms current state-of-the-art models in all tested datasets and environments, generating high-quality keyphrases that adapt well to diverse domains and document lengths.

研究动机与目标

• 评估ChatGPT在多样化领域和文档长度（尤其是现有模型表现欠佳的长文档）中的关键词生成性能。
• 评估ChatGPT是否能通过其多任务、多领域预训练克服领域适应挑战。
• 探究ChatGPT更大的上下文窗口（最大可达KeyBART的4倍）是否能提升其在长文档上的关键词生成性能。
• 在来自科学和新闻领域的六个基准数据集上，将ChatGPT与当前SotA模型KeyBART的性能进行对比。
• 通过真实案例研究，展示ChatGPT在多种输入类型下生成准确、上下文相关关键词的能力。

提出的方法

• 本研究使用了六个公开的科学文献和新闻文献数据集，涵盖短文档与长文档。
• 采用零样本文本到文本生成方式对ChatGPT进行提示，使用标准化提示：'为以下文本生成关键词：'，后接输入文档。
• 使用标准指标评估性能：top-k关键词（k=3, 5, 10）的精确率、召回率和F1分数。
• 在所有数据集上，采用相同的评估协议，将ChatGPT与当前SotA模型KeyBART进行对比。
• 在DUC2001新闻数据集和科学文献中选取代表性样本进行案例研究，以分析其定性表现与推理能力。
• 通过后续问题直接探查ChatGPT的知识与推理能力，以评估其事实依据和上下文感知能力。

Figure 1: Example prompt used to generate keyphrases with ChatGPT

实验结果

研究问题

• RQ1 ChatGPT是否能在非科学和新闻等多样化领域中生成高质量关键词，而这些领域正是先前模型表现困难的？
• RQ2 在长文档上，ChatGPT的关键词生成性能与SotA模型KeyBART相比如何？
• RQ3 ChatGPT更大的上下文窗口（最大可达KeyBART的4倍）在长文档上的关键词生成中提升了多少？
• RQ4 当测试于领域外文本时，ChatGPT是否展现出优于微调模型（如KeyBART）的领域适应能力？
• RQ5 ChatGPT在特定情况下性能下降的原因是什么？它能否自我识别出输入质量或上下文的局限性？

主要发现

• ChatGPT在全部六个基准数据集上均优于KeyBART，无论在抽取式还是抽象式关键词生成中，F1分数均更高。
• 在新闻领域（DUC2001），在一项案例研究中，ChatGPT正确识别了所有关键词，而KeyBART完全失败，仅生成了不相关的抽象式短语。
• 在长科学文献上，ChatGPT保持了高性能，而KeyBART由于上下文窗口受限，性能显著下降。
• ChatGPT展现出强大的领域泛化能力，即使未在航空和军事新闻数据上进行微调，也能正确识别关键词。
• 当被问及自身失败原因时，ChatGPT能正确归因于缺乏明确焦点、上下文有限和词汇稀疏等问题，表明其具备对输入局限性的自我认知。
• ChatGPT对现实事件（如名人新闻）的知识整体准确，尽管偶尔会遗漏具体细节，如金额或地点。

Figure 2: Case Study 1.1: Short Scientific Document from Inspec Test Dataset