[论文解读] How is ChatGPT's behavior changing over time?

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|Jul 18, 2023

Artificial Intelligence in Healthcare and Education被引用 167

一句话总结

本研究分析了 GPT-3.5 和 GPT-4 在多项任务上从 2023 年 3 月到 2023 年 6 月的更新，显示出显著的性能和指令遵循漂移，并强调需要对大语言模型服务进行持续监控。

ABSTRACT

GPT-3.5 and GPT-4 are the two most widely used large language model (LLM) services. However, when and how these models are updated over time is opaque. Here, we evaluate the March 2023 and June 2023 versions of GPT-3.5 and GPT-4 on several diverse tasks: 1) math problems, 2) sensitive/dangerous questions, 3) opinion surveys, 4) multi-hop knowledge-intensive questions, 5) generating code, 6) US Medical License tests, and 7) visual reasoning. We find that the performance and behavior of both GPT-3.5 and GPT-4 can vary greatly over time. For example, GPT-4 (March 2023) was reasonable at identifying prime vs. composite numbers (84% accuracy) but GPT-4 (June 2023) was poor on these same questions (51% accuracy). This is partly explained by a drop in GPT-4's amenity to follow chain-of-thought prompting. Interestingly, GPT-3.5 was much better in June than in March in this task. GPT-4 became less willing to answer sensitive questions and opinion survey questions in June than in March. GPT-4 performed better at multi-hop questions in June than in March, while GPT-3.5's performance dropped on this task. Both GPT-4 and GPT-3.5 had more formatting mistakes in code generation in June than in March. We provide evidence that GPT-4's ability to follow user instructions has decreased over time, which is one common factor behind the many behavior drifts. Overall, our findings show that the behavior of the "same" LLM service can change substantially in a relatively short amount of time, highlighting the need for continuous monitoring of LLMs.

研究动机与目标

• 出于对模型更新不透明性的动机，评估两个主要大型语言模型服务（GPT-3.5 和 GPT-4）随时间的变化。
• 在多样化任务上评估性能和行为漂移，以了解潜在的权衡与稳定性。
• 提供证据和资源，促使对 LLM 在工作流中的持续监控和稳健整合。

提出的方法

• 使用默认系统提示和低温度（0.1）的提示，对比 2023 年 3 月与 2023 年 6 月版本的 GPT-3.5 和 GPT-4。
• 评估八项任务：数学题（素数 vs. 合数、快乐数）、敏感/危险问题、OpinionQA 调查、LangChain HotpotQA 多步问答、代码生成、USMLE 医学考试，以及视觉推理。
• 使用任务特定指标（准确性、响应率、精确匹配、可执行性）以及两种通用指标（冗长度和不匹配）来量化漂移。
• 通过有无链式思维提示（CoT 指令）来测试，分析对链式思维提示的依赖。
• 整理并发布提示与响应以实现可重复性；开源分析代码。

实验结果

研究问题

• RQ1 GPT-4 和 GPT-3.5 是否在 2023 年 3 月至 2023 年 6 月之间跨多任务表现出可测量的漂移？
• RQ2 随时间推移，遵循用户指令的能力（如链式思考提示）如何漂移，与任务表现有何关系？
• RQ3 随着模型随时间漂移，安全相关与观点生成行为出现了哪些模式？
• RQ4 代码格式化、多步推理与提示稳定性在多大程度上导致下游流程在时间上的脆弱性？
• RQ5 这些漂移对在现实世界系统和工作流中部署 LLM 有何影响？

主要发现

• GPT-4 和 GPT-3.5 在 2023 年 3 月至 6 月之间的若干任务上都表现出显著的性能与行为漂移。
• GPT-4 的素数/合数准确性从 84% 降至 51%，而 GPT-3.5 在素数测试中的准确性从 49.6% 提升到 76.2%，并且链式思维使用发生变化。
• 与三月相比，GPT-4 在六月对敏感问题和意见调查问题回答的意愿下降，而 GPT-3.5 则表现出混合性变化。
• GPT-4 在六月的某些多步问题上有所提升，而 GPT-3.5 在此任务上下降。
• 由于格式更改，六月两模型的代码生成输出变得不再直接可执行，非代码文本显著增加。
• GPT-4 对遵循用户指令的能力总体随时间下降，导致更广泛的行为漂移。
• 在对抗越狱攻击的安全防御以及对拒绝进行冗长推理的产出方面存在显著漂移，GPT-4 的安全性变化比 GPT-3.5 更强。
• 在所有任务中，输出长度与内容（冗长度、错配）的大幅变化伴随准确性漂移，标志着模型行为的不稳定。