[论文解读] A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark Datasets

Md Tahmid Rahman Laskar, M Saiful Bari+4 more|arXiv (Cornell University)|May 29, 2023

Topic Modeling被引用 13

一句话总结

本论文对 ChatGPT 在 140个 NLP 基准任务上进行大规模的零-shot 评估，分析 255K 条回应，以刻画优势、劣势以及像 PolyQuery Synthesis 这样的新兴能力。

ABSTRACT

The development of large language models (LLMs) such as ChatGPT has brought a lot of attention recently. However, their evaluation in the benchmark academic datasets remains under-explored due to the difficulty of evaluating the generative outputs produced by this model against the ground truth. In this paper, we aim to present a thorough evaluation of ChatGPT's performance on diverse academic datasets, covering tasks like question-answering, text summarization, code generation, commonsense reasoning, mathematical problem-solving, machine translation, bias detection, and ethical considerations. Specifically, we evaluate ChatGPT across 140 tasks and analyze 255K responses it generates in these datasets. This makes our work the largest evaluation of ChatGPT in NLP benchmarks. In short, our study aims to validate the strengths and weaknesses of ChatGPT in various tasks and provide insights for future research using LLMs. We also report a new emergent ability to follow multi-query instructions that we mostly found in ChatGPT and other instruction-tuned models. Our extensive evaluation shows that even though ChatGPT is capable of performing a wide variety of tasks, and may obtain impressive performance in several benchmark datasets, it is still far from achieving the ability to reliably solve many challenging tasks. By providing a thorough assessment of ChatGPT's performance across diverse NLP tasks, this paper sets the stage for a targeted deployment of ChatGPT-like LLMs in real-world applications.

研究动机与目标

• 评估 ChatGPT 在多样化的 NLP 任务上的表现（语言理解、生成、编码、推理、翻译与伦理）。
• 相对于最先进的微调模型与人类表现，识别优势与劣势。
• 调查对提示变体、模型版本和指令遵循策略（如链式思考）的一致性鲁棒性。
• 检查 ChatGPT 输出中的偏见、错误信息潜力及伦理考量。
• 发现新兴能力与局限性，为现实世界部署类似 ChatGPT 的 LLMs 提供信息。

提出的方法

• 在排行榜基础和基于任务的 NLP 基准上进行零-shot 评估。
• 对判别任务进行人机在环验证，对于生成任务使用自动评估指标。
• 在多项指标上与 SOTA 微调模型及其他大型 LLMs 的比较。
• 对提示策略（有无链式思考）进行消融，并分析模型版本差异。
• 使用标准基准（如 WinoBias、TruthfulQA）评估偏见、伦理与错误信息。
• 引入并评估 PolyQuery Synthesis 作为单一提示中的多查询能力。

实验结果

研究问题

• RQ1 ChatGPT 在零-shot 设置下在广泛的 NLP 基准任务上的表现如何？
• RQ2 ChatGPT 在语言理解、生成、推理和伦理维度上的强项与局限性是什么？
• RQ3 提示策略（包括链式思考）以及不同的 ChatGPT 版本如何影响性能？
• RQ4 ChatGPT 是否展现出诸如 PolyQuery Synthesis 之类的新兴能力，使一个提示中能够进行多次查询？

主要发现

• 与单任务的 SOTA 微调模型相比，ChatGPT 往往表现不佳。
• ChatGPT 在算法任务上可以达到普通人水平，且在零-shot 数学和编码能力方面表现出色。
• 不同模型版本之间的表现差异较大，更新版本未必总是优于旧版本。
• 链式思考提示在某些基准上显著提升性能，而缺少链式思考会导致在新推理任务中遗忘。
• ChatGPT 展现出较强的开放域知识，但在某些常识推理任务上相比 PaLM 540B 与 LLaMA 65B 表现较弱。
• 在伦理与偏见基准中，ChatGPT 往往在正义/美德方面优于此前的 SOTA 模型，但在 Type 1 偏见任务上存在偏见，与此前模型相比总体比较有利。