[论文解读] Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization

Xianjun Yang, Yan Li+3 more|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用 89

一句话总结

本论文在多样数据集上评估了 ChatGPT 的基于方面和基于查询的摘要，并发现 Rouge 分数可与传统微调方法相比。

ABSTRACT

Text summarization has been a crucial problem in natural language processing (NLP) for several decades. It aims to condense lengthy documents into shorter versions while retaining the most critical information. Various methods have been proposed for text summarization, including extractive and abstractive summarization. The emergence of large language models (LLMs) like GPT3 and ChatGPT has recently created significant interest in using these models for text summarization tasks. Recent studies \cite{goyal2022news, zhang2023benchmarking} have shown that LLMs-generated news summaries are already on par with humans. However, the performance of LLMs for more practical applications like aspect or query-based summaries is underexplored. To fill this gap, we conducted an evaluation of ChatGPT's performance on four widely used benchmark datasets, encompassing diverse summaries from Reddit posts, news articles, dialogue meetings, and stories. Our experiments reveal that ChatGPT's performance is comparable to traditional fine-tuning methods in terms of Rouge scores. Moreover, we highlight some unique differences between ChatGPT-generated summaries and human references, providing valuable insights into the superpower of ChatGPT for diverse text summarization tasks. Our findings call for new directions in this area, and we plan to conduct further research to systematically examine the characteristics of ChatGPT-generated summaries through extensive human evaluation.

研究动机与目标

• 评估 ChatGPT 在跨多个领域的方面基于与查询基于的摘要任务中的表现。
• 将 ChatGPT 输出与传统通过 Rouge 指标的微调基线进行比较。
• 研究提示设计和数据集特征如何影响 ChatGPT 的摘要质量。
• 提供对在可控摘要任务中利用大语言模型的见解与方向。

提出的方法

• 使用公开基准数据集进行方面-和查询基础摘要（CovidET、NEWTS、QMSum、SQuaLITY）。
• 在可行的情况下，使用 Rouge-1/2/L/Lsum 对零-shot 与 1-shot 提示进行评估。
• 将 ChatGPT 结果与每个数据集上的微调基线进行比较。
• 使用额外指标（Coverage、Density、Compression）和 n-gram 统计对摘要进行分析。
• 检查输入长度和提示策略对性能的影响。
• 讨论与 ChatGPT 的 token 限制相关的局限性以及未来人工评估计划。

实验结果

研究问题

• RQ1 ChatGPT 是否能够在 Rouge 水平上产出与微调模型相当的方面-与查询基础任务摘要？
• RQ2 ChatGPT 在面向 Reddit、News、会议、故事等多领域的定向摘要中表现如何？
• RQ3 哪些因素（提示、输入长度、一-shot 与 zero-shot）会影响 ChatGPT 的摘要质量？
• RQ4 在抽象性与提取性倾向方面，ChatGPT 与微调模型之间是否存在系统性差异？

主要发现

• ChatGPT 在所有数据集上的 Rouge 分数与传统微调方法相当。
• 在 QMSum 的 golden spans 情况下，ChatGPT 在 Rouge-1 和 Rouge-2 上可能超越微调，但 Rouge-L 可能落后。
• CovidET 显示 ChatGPT 表现最弱，原因是来自简短输入的简短、单句摘要。
• 对于较长输入（QMSum、SQuaLITY），ChatGPT 往往产生更具抽象性的摘要，使用更多独特短语。
• 在新闻领域，ChatGPT 在所有 Rouge 指标上均优于微调，与对指令微调模型的先前发现一致。
• 当提示和上下文有利时，ChatGPT 的零-shot 结果可接近或匹配 FT，尽管 Rouge-L 对口语风格数据仍是一个挑战。