[论文解读] A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models

Junjie Ye, Xuanting Chen+13 more|arXiv (Cornell University)|Mar 18, 2023

Topic Modeling被引用 186

一句话总结

本论文分析 GPT-3 与 GPT-3.5 系列在九个 NLU 任务上覆盖 21 个数据集，对比零-shot 与少-shot表现，且发现 RLHF 提升生成质量但可能损害某些任务。

ABSTRACT

GPT series models, such as GPT-3, CodeX, InstructGPT, ChatGPT, and so on, have gained considerable attention due to their exceptional natural language processing capabilities. However, despite the abundance of research on the difference in capabilities between GPT series models and fine-tuned models, there has been limited attention given to the evolution of GPT series models' capabilities over time. To conduct a comprehensive analysis of the capabilities of GPT series models, we select six representative models, comprising two GPT-3 series models (i.e., davinci and text-davinci-001) and four GPT-3.5 series models (i.e., code-davinci-002, text-davinci-002, text-davinci-003, and gpt-3.5-turbo). We evaluate their performance on nine natural language understanding (NLU) tasks using 21 datasets. In particular, we compare the performance and robustness of different models for each task under zero-shot and few-shot scenarios. Our extensive experiments reveal that the overall ability of GPT series models on NLU tasks does not increase gradually as the models evolve, especially with the introduction of the RLHF training strategy. While this strategy enhances the models' ability to generate human-like responses, it also compromises their ability to solve some tasks. Furthermore, our findings indicate that there is still room for improvement in areas such as model robustness.

研究动机与目标

• 了解 GPT-3 与 GPT-3.5 系列能力如何随时间演进。
• 在多个人 NLU 任务和数据集上比较 GPT-3 与 GPT-3.5 模型。
• 评估每个模型-任务对的零-shot 与少-shot 性能。
• 评估鲁棒性并找出需要改进的地方。
• 分析来自人类反馈的强化学习（RLHF）对能力的影响。

提出的方法

• 从 GPT-3 与 GPT-3.5 系列中选择六个代表模型（davinci，text-davinci-001，code-davinci-002，text-davinci-002，text-davinci-003，gpt-3.5-turbo）。
• 使用 21 个数据集对九个自然语言理解任务评估模型性能。
• 比较每个任务和模型的零-shot 与少-shot 设置。
• 评估模型在各任务和设置下的鲁棒性。
• 分析 RLHF 训练如何影响任务性能与生成质量。
• 提供跨模型的能力演进综合分析。

实验结果

研究问题

• RQ1 GPT-3 与 GPT-3.5 模型在所评估的 NLU 任务上是否呈现逐步改进？
• RQ2 RLHF 如何影响跨模型在任务解决能力与生成质量之间的平衡？
• RQ3 在这些任务上，GPT-3 与 GPT-3.5 模型的鲁棒性特征是什么？
• RQ4 是否有特定任务中新模型相对于较早的模型表现不佳？

主要发现

• GPT 系列在 NLU 任务上的整体能力并未随模型演变而逐步提升。
• RLHF 训练使生成更接近人类，但可能在某些任务上降低性能。
• 在跨任务的模型鲁棒性方面仍有很大的改进空间。
• GPT-3 与 GPT-3.5 系列之间的性能差异取决于任务和设置。
• 本研究强调 RLHF 引入的生成质量与任务解决能力之间的权衡。