[论文解读] Analyzing ChatGPT's Aptitude in an Introductory Computer Engineering Course

Sanjay Deshpande, Jakub Szefer|arXiv (Cornell University)|Mar 13, 2023

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本研究通过 ChatGPT 和 OpenAI API 在耶鲁大学的一门入门级计算机工程课程中评估了 GPT-3 的表现，涵盖测验、作业、考试和实验任务。尽管其在概念性与简答题上能生成准确且类人的答案，但在基于图表、视觉和动手操作的环节中表现失败，导致其在当前实现下无法通过该课程。

ABSTRACT

ChatGPT has recently gathered attention from the general public and academia as a tool that is able to generate plausible and human-sounding text answers to various questions. One potential use, or abuse, of ChatGPT is in answering various questions or even generating whole essays and research papers in an academic or classroom setting. While recent works have explored the use of ChatGPT in the context of humanities, business school, or medical school, this work explores how ChatGPT performs in the context of an introductory computer engineering course. This work assesses ChatGPT's aptitude in answering quizzes, homework, exam, and laboratory questions in an introductory-level computer engineering course. This work finds that ChatGPT can do well on questions asking about generic concepts. However, predictably, as a text-only tool, it cannot handle questions with diagrams or figures, nor can it generate diagrams and figures. Further, also clearly, the tool cannot do hands-on lab experiments, breadboard assembly, etc., but can generate plausible answers to some laboratory manual questions. One of the key observations presented in this work is that the ChatGPT tool could not be used to pass all components of the course. Nevertheless, it does well on quizzes and short-answer questions. On the other hand, plausible, human-sounding answers could confuse students when generating incorrect but still plausible answers.

研究动机与目标

• 评估 ChatGPT 在本科计算机工程课程中生成各类评估题准确解答的有效性。
• 识别如 GPT-3 这类纯文本大模型在处理计算机工程教育中常见的视觉与图表类内容时的局限性。
• 评估 ChatGPT 在真实课程环境中是否可用于学术作弊或学习支持。
• 提出改进方案，使大模型能够解释和生成技术图表，如真值表、逻辑门电路图和状态机图。
• 引入并应用“每分钟准确率”指标，以评估解答质量与生成速度。

提出的方法

• 使用 OpenAI API 和 GPT-3 Davinci 模型生成课程问题（包括测验、作业、考试和实验任务）的响应。
• 通过自定义的基于 Python 的解决方案生成器收集并分析模型输出，结果以 JSON 格式存储以确保可复现性。
• 使用一种新颖的“每分钟准确率”指标评估响应，该指标平衡了解答正确性与生成速度。
• 将模型输出与标准学生作业进行对比，重点关注正确性、完整性和合理性。
• 探索了 API 参数（如 max_tokens）对输出质量的影响，注意到当数值过低时出现截断现象。
• 识别出重复出现的问题，如不可读的 ASCII 艺术、错误或损坏的图像链接，以及依赖上下文的误解。

实验结果

研究问题

• RQ1 ChatGPT 能否在一门入门级计算机工程课程中，为测验、作业、考试和实验问题生成正确且合理的答案？
• RQ2 ChatGPT 在不同类型评估组件中的表现如何，特别是那些需要图表或动手操作的环节？
• RQ3 ChatGPT 的输出在多大程度上可能被误认为是正确的学生作业，从而导致学术不端行为？
• RQ4 当前纯文本大模型在处理计算机工程教育中至关重要的视觉与图表内容方面存在哪些关键局限性？
• RQ5 为使大模型能有效支持或替代学生在技术工程课程中的工作，需要哪些改进？

主要发现

• ChatGPT 在简答题和概念性测验题上表现良好，通常能生成正确且类人的回答。
• 该模型无法解释或生成图表，如真值表、逻辑门电路图、状态机图和波形图。
• 当被要求进行视觉推理时，模型有时会生成不可读的 ASCII 艺术或错误的图像链接。
• 尽管生成了听起来合理的描述，但该模型无法执行动手实验任务，如搭接面包板或电路组装。
• 本次评估使用 OpenAI API 的总成本约为 2.14 美元，使用 GPT-3 Davinci 模型，价格为每 1,000 个 token 0.12 美元。
• 每分钟准确率指标显示，尽管 GPT-3 生成的解答正确率低于学生作业，但其生成速度快几个数量级，凸显了速度与正确性之间的权衡。