[论文解读] GPTEval: A Survey on Assessments of ChatGPT and GPT-4

Rui Mao, Guanyi Chen+3 more|arXiv (Cornell University)|Aug 24, 2023

Artificial Intelligence in Healthcare and Education被引用 24

一句话总结

对 ChatGPT 和 GPT-4 在语言、推理、科学知识和伦理方面的评估进行全面综述，强调优点、弱点和方法论关注点。

ABSTRACT

The emergence of ChatGPT has generated much speculation in the press about its potential to disrupt social and economic systems. Its astonishing language ability has aroused strong curiosity among scholars about its performance in different domains. There have been many studies evaluating the ability of ChatGPT and GPT-4 in different tasks and disciplines. However, a comprehensive review summarizing the collective assessment findings is lacking. The objective of this survey is to thoroughly analyze prior assessments of ChatGPT and GPT-4, focusing on its language and reasoning abilities, scientific knowledge, and ethical considerations. Furthermore, an examination of the existing evaluation methods is conducted, offering several recommendations for future research in evaluating large language models.

研究动机与目标

• 评估 ChatGPT 和 GPT-4 在多样化任务和学科领域中的语言能力与推理能力。
• 总结科学知识与领域特定表现的发现。
• 识别当前评估与部署中的伦理考量和偏见。
• 批判性分析评估方法并提出未来工作建议。

提出的方法

• 评审 ChatGPT 与 GPT-4 在多个领域和任务上的定量评估。
• 分析与语言理解、生成与推理能力相关的结果。
• 批判性地审查影响公平性的评估方法、提示设计与数据泄露问题。
• 综合正式科学与自然科学领域的科学知识发现。
• 讨论伦理因素，包括公平性、鲁棒性、可靠性和数据隐私。

实验结果

研究问题

• RQ1 在各项任务和学科领域中，ChatGPT 和 GPT-4 展示出的语言能力和推理能力的优点与局限性是什么？
• RQ2 与专家模型或人类相比，ChatGPT 和 GPT-4 在科学知识领域的表现如何？
• RQ3 当前大语言模型评估方法学存在哪些可靠性与公平性问题？
• RQ4 在将 GPT 模型应用于现实世界场景时，会出现哪些伦理考量，包括数据泄露和提示影响？] ,
• RQ5 key_findings and further_analysis_note

主要发现

• ChatGPT 和 GPT-4 展现出强大的语言理解与生成能力，但在领域特定知识方面落后于专家模型。
• GPT-4 和 ChatGPT 在许多与科学相关的问题上表现良好，但在需要多步推理的问题上可能失败。
• 评估方法常常因为提示工程和数据集选择而不可靠，潜在的数据泄露会影响公平性。
• 提示设计和基准测试选择在很大程度上影响跨模型和任务的比较结果。
• GPT-4 在某些考试（如计算机科学和法律）上达到近似人类的表现，同时在其他领域仍存在差距以及安全方面的担忧。