[论文解读] ChatGPT Participates in a Computer Science Exam

Sebastian Bordt, Ulrike von Luxburg|arXiv (Cornell University)|Mar 8, 2023

Artificial Intelligence in Healthcare and Education被引用 31

一句话总结

本论文报道了一项实验性评估，ChatGPT 参加了本科 CS 考试，勉强及格（20.5/40），GPT-4 显示出约 17% 的提升，达到大约 24 分，表明尽管表现强劲，但在真正理解方面存在局限。

ABSTRACT

We asked ChatGPT to participate in an undergraduate computer science exam on ''Algorithms and Data Structures''. The program was evaluated on the entire exam as posed to the students. We hand-copied its answers onto an exam sheet, which was subsequently graded in a blind setup alongside those of 200 participating students. We find that ChatGPT narrowly passed the exam, obtaining 20.5 out of 40 points. This impressive performance indicates that ChatGPT can indeed succeed in challenging tasks like university exams. At the same time, the questions in our exam are structurally similar to those of other exams, solved homework problems, and teaching materials that can be found online and might have been part of ChatGPT's training data. Therefore, it would be inadequate to conclude from this experiment that ChatGPT has any understanding of computer science. We also assess the improvements brought by GPT-4. We find that GPT-4 would have obtained about 17\% more exam points than GPT-3.5, reaching the performance of the average student. The transcripts of our conversations with ChatGPT are available at \url{https://github.com/tml-tuebingen/chatgpt-algorithm-exam}, and the entire graded exam is in the appendix of this paper.

研究动机与目标

• 评估 ChatGPT 是否能够在盲评环境下，与人类学生同台参加真实本科计算机科学考试。
• 评估在标准化算法与数据结构考试上 GPT-3.5 与 GPT-4 的表现差异。
• 在受控教育情境中探讨 ChatGPT 的考试答案的局限性与可解释性。
• 讨论在教育基准中理解 AI 能力的影响。

提出的方法

• 使用以 LaTeX 文本形式给出的标准本科算法与数据结构考试。
• 在19次对话中向 ChatGPT 提出19道题，使用简单提示且不进行链式推理提示。
• 将 ChatGPT 的答案手写抄写到试卷上，以便与200份学生试卷进行盲评。
• 安排10名助教在同一房间内对混合集进行盲评。
• 通过使用 GPT-4 基本模型重复该过程并进行非盲评来比较 GPT-3.5 与 GPT-4 的结果。

实验结果

研究问题

• RQ1 在盲评条件下，现代语言模型是否能通过标准化的本科 CS 考试？
• RQ2 在同一考试中，GPT-4 的表现与 GPT-3.5 有何差异？
• RQ3 哪种类型的问题（如证明、伪代码、图）对模型最具挑战性？
• RQ4 该考试的表现是否反映真正理解，还是依赖训练数据？
• RQ5 AI 辅助教育的局限性与潜在影响是什么？

主要发现

• ChatGPT 在盲评下以 20.5/40 分勉强及格（GPT-3.5）。
• GPT-4 比 GPT-3.5 多约 17% 的分数，达到该考试中平均学生的表现。
• GPT-4 在更难的多项选择题和某些与图相关的任务上表现改进，但在图形绘制和非伪代码结构化输出方面存在困难。
• 在伪代码和动态规划问题上显示出一些优势，而涉及标准算法解释或图结构的若干问题仍然具有挑战性。
• 总体而言，ChatGPT 的成功并不意味著人类般的计算机科学理解；这些问题类似在线教学材料和可能在训练数据中出现过的已解题。