[论文解读] ChatGPT in the Classroom: Boon or Bane for Physics Students' Academic Performance?

Manuel G. Forero, H. J. Herrera-Suárez|arXiv (Cornell University)|Dec 5, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本实验研究考察了ChatGPT对物理专业学生学业表现的影响，将不使用ChatGPT的传统教学方法组（对照组）与使用ChatGPT作为学习辅助工具的实验组进行对比。结果显示，尽管学生报告称其概念理解能力和工具适应性有所提升，但学业表现显著下降，成绩更低且Hake因子为负值，凸显了批判性思维能力减弱及对AI生成内容过度依赖的风险。

ABSTRACT

This study investigates the influence of ChatGPT, an AI-based language model, on student performance in a physics course. We conducted an experimental analysis with two cohorts of students in a second-semester engineering physics course. The control group (Physics 2 2022B) used traditional teaching methods, while the experimental group (Physics 2 2023A) integrated ChatGPT as a learning tool. Our results indicate that the use of ChatGPT led to a significant decrease in student performance, as evidenced by lower grades and negative Hake factors compared to the control group. In addition, a survey of students revealed conflicting perceptions of the usefulness of ChatGPT in teaching physics. While most recognized its usefulness in understanding concepts and providing information, concerns were raised about its potential to reduce critical thinking and independent learning. These findings suggest that while ChatGPT can be a useful tool, it should be used with caution and as a supplement to traditional teaching methods, rather than as a stand-alone solution. The study underlines the importance of critical and reflective use of AI tools in educational settings and highlights the irreplaceable role of teachers in providing comprehensive educational support.

研究动机与目标

• 评估在第二学期工程物理课程中整合ChatGPT作为学习工具对学生学业表现的影响。
• 比较采用传统教学方法的对照组与使用ChatGPT的实验组的学生表现。
• 调查学生对ChatGPT在实用性、准确性以及对批判性思维和自主学习影响方面的看法。
• 评估类似ChatGPT的AI工具是否促进或阻碍物理教育中的深度学习与概念理解。
• 为教育策略提供建议，以在整合AI工具的同时，保持批判性思维能力和教师主导教学的完整性。

提出的方法

• 研究了两批工程物理专业学生：2022B学期（对照组）采用传统教学方法，未使用ChatGPT；2023A学期（实验组）强制整合ChatGPT。
• 对照组通过讲座、黑板板书、幻灯片、视频、模拟实验和实验课进行教学，遵循标准教学大纲和教材。
• 实验组从一开始就接受ChatGPT 3.5的使用培训，并被鼓励用于概念澄清、习题生成和家庭作业支持。
• 通过标准化考试衡量表现，使用Hake因子评估概念理解的归一化提升程度。
• 通过问卷调查评估学生对ChatGPT实用性、准确性、适应性及其对自主学习影响的看法。
• 对两组的考试成绩和Hake因子进行统计比较，以评估学业表现的差异。

实验结果

研究问题

• RQ1 与传统教学方法相比，将ChatGPT整合到物理教学中是否能提升学生的学业表现？
• RQ2 ChatGPT的使用如何影响学生通过归一化增益（Hake因子）衡量的概念理解？
• RQ3 学生对ChatGPT在理解物理概念和促进自主学习方面的实用性有何看法？
• RQ4 ChatGPT的使用在多大程度上与批判性思维能力下降或对AI生成答案的过度依赖相关？
• RQ5 ChatGPT能否在不损害学习成果的前提下，有效补充传统教学？

主要发现

• 使用ChatGPT整合的实验组（2023A年物理2班）考试成绩显著低于对照组（2022B年物理2班）。
• 所有考试的Hake因子均为负值，表明实验组的概念理解能力出现下降。
• 超过60%的学生表示与ChatGPT互动有助于加深对物理概念的理解。
• 68%的学生对ChatGPT根据其知识水平进行适应性回应并回答具体问题的能力表示满意。
• 近30%的学生表示使用ChatGPT后，他们更少进行独立思考或批判性思维。
• 超过10%的学生对ChatGPT解释的准确性或清晰度表示不满。