[论文解读] ChatGPT in the Classroom: An Analysis of Its Strengths and Weaknesses for Solving Undergraduate Computer Science Questions

Ishika Joshi, Ritvik Budhiraja+6 more|arXiv (Cornell University)|Apr 28, 2023

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

本研究采用定量方法，针对多种题型，评估了ChatGPT在回答本科计算机科学问题时的可靠性。研究发现其在客观题和编程题中存在显著错误，尤其警告了过度依赖所带来的自我破坏风险；同时建议将ChatGPT作为辅助工具，用于构思和解释，而非直接生成解决方案。

ABSTRACT

ChatGPT is an AI language model developed by OpenAI that can understand and generate human-like text. It can be used for a variety of use cases such as language generation, question answering, text summarization, chatbot development, language translation, sentiment analysis, content creation, personalization, text completion, and storytelling. While ChatGPT has garnered significant positive attention, it has also generated a sense of apprehension and uncertainty in academic circles. There is concern that students may leverage ChatGPT to complete take-home assignments and exams and obtain favorable grades without genuinely acquiring knowledge. This paper adopts a quantitative approach to demonstrate ChatGPT's high degree of unreliability in answering a diverse range of questions pertaining to topics in undergraduate computer science. Our analysis shows that students may risk self-sabotage by blindly depending on ChatGPT to complete assignments and exams. We build upon this analysis to provide constructive recommendations to both students and instructors.

研究动机与目标

• 评估ChatGPT在不同格式下回答本科计算机科学广泛问题的可靠性。
• 识别学生在作业和考试中过度依赖ChatGPT所带来的风险，包括学习效果受损和学术诚信问题。
• 为学生和教师提供基于证据的建议，说明如何建设性地使用ChatGPT以增强学习，而不损害理解。
• 评估提示设计和问题类型对ChatGPT响应准确性与一致性的影响力。

提出的方法

• 开发了一套定量评估框架，用于测试ChatGPT在七类题型中的响应表现：判断题、单选题、多选题、简答题、论述题、设计题和编程题。
• 题目选自核心本科计算机科学课程、编程面试题和竞赛试题，以确保现实相关性。
• 系统性地分析了响应的事实准确性、逻辑一致性和完整性，重点关注幻觉和推理错误的识别。
• 将ChatGPT的答案与标准答案进行对比，以衡量不同题型下的错误率和可靠性。
• 分析还包括对提示措辞和上下文线索如何影响响应质量与一致性的评估。

实验结果

研究问题

• RQ1 ChatGPT在回答不同类型计算机科学问题时的优势与劣势是什么？
• RQ2 ChatGPT在不同题型（如单选题、编程题和设计题）中的表现有何差异？
• RQ3 学生在作业和考试中依赖ChatGPT存在哪些风险，特别是在学习成果和学术诚信方面？
• RQ4 学生和教师如何建设性地使用ChatGPT以提升计算机科学教育中的教与学？

主要发现

• ChatGPT在回答客观题和编程相关问题时表现出高度不可靠，尽管提供了详细解释，但错误率仍很高。
• 在单选题和判断题中，ChatGPT经常选择错误答案，即使解释看似合理且结构良好。
• 对于简答题和论述题，回答往往冗长且在语境上看似合理，但事实错误频发，表明存在误导学生的风险。
• 该模型在基于推理和设计导向的问题中表现尤为薄弱，未能正确应用相关原理或约束条件。
• 在编程任务中，ChatGPT生成的代码语法正确，但逻辑存在缺陷或错误，尤其在复杂算法问题上更为明显。
• 研究发现，提示措辞显著影响响应质量，细微变化即可导致不一致或错误答案。