[논문 리뷰] ChatGPT in the Classroom: Boon or Bane for Physics Students' Academic Performance?

Manuel G. Forero, H. J. Herrera-Suárez|arXiv (Cornell University)|2023. 12. 05.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 실험적 연구는 물리학 수업에서 ChatGPT의 영향을 분석하며, 전통적 방법을 사용하는 대조군과 ChatGPT를 학습 보조 수단으로 사용하는 실험군을 비교한다. 결과적으로 성과가 유의미하게 떨어졌으며, 낮은 성적과 부정적인 Hake 요인을 보였지만, 학생들은 개념 이해도 향상과 도구 적응 능력 향상을 보고했으며, 이는 비판적 사고 능력 저하와 AI 생성 콘텐츠에 대한 과도한 의존 위험을 드러낸다.

ABSTRACT

This study investigates the influence of ChatGPT, an AI-based language model, on student performance in a physics course. We conducted an experimental analysis with two cohorts of students in a second-semester engineering physics course. The control group (Physics 2 2022B) used traditional teaching methods, while the experimental group (Physics 2 2023A) integrated ChatGPT as a learning tool. Our results indicate that the use of ChatGPT led to a significant decrease in student performance, as evidenced by lower grades and negative Hake factors compared to the control group. In addition, a survey of students revealed conflicting perceptions of the usefulness of ChatGPT in teaching physics. While most recognized its usefulness in understanding concepts and providing information, concerns were raised about its potential to reduce critical thinking and independent learning. These findings suggest that while ChatGPT can be a useful tool, it should be used with caution and as a supplement to traditional teaching methods, rather than as a stand-alone solution. The study underlines the importance of critical and reflective use of AI tools in educational settings and highlights the irreplaceable role of teachers in providing comprehensive educational support.

연구 동기 및 목표

• 두 번째 학기 공학 물리 수업에서 ChatGPT를 학습 도구로 통합함으로써 학업 성취도에 미치는 영향을 평가하기 위해.
• 전통적 수업 방법을 사용하는 대조군과 ChatGPT를 사용하는 실험군 간의 학생 성취도를 비교하기 위해.
• 학생들이 ChatGPT의 유용성, 정확성, 비판적 사고 및 독립 학습에 미치는 영향에 대해 어떻게 평가하는지 조사하기 위해.
• AI 도구인 ChatGPT가 물리 교육에서 깊이 있는 학습과 개념적 이해도를 향상시키는지 또는 저해하는지 평가하기 위해.
• 비판적 사고 유지와 교사 주도 수업을 보존하면서 AI 도구 통합 전략을 제안하기 위해.

제안 방법

• 두 개의 공학 물리 수업 수강생 코hort를 연구하였다: 2022B학기(대조군)는 ChatGPT 없이 전통적 수업 방법을 사용하였고, 2023A학기(실험군)는 의무적인 ChatGPT 통합을 실시하였다.
• 대조군은 표준 교과과정과 교재에 따라 강의, 보드, 슬라이드, 영상, 시뮬레이션, 실험 세션을 통해 지도를 받았다.
• 실험군은 수업 초반부터 ChatGPT 3.5 사용법을 교육받았으며, 개념 명확화, 문제 생성, 과제 지원을 위해 이를 장려받았다.
• 성과는 표준화된 시험을 통해 측정되었으며, 개념적 이해도의 정규화된 성취도를 평가하기 위해 Hake 요수를 사용하였다.
• 학생들의 인식을 평가하기 위해 설문조사를 실시하였으며, ChatGPT의 유용성, 정확성, 적응 능력, 독립 학습에 미치는 영향을 포함하였다.
• 두 그룹 간 시험 점수와 Hake 요소의 통계적 비교를 통해 학업 성취도의 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 물리 수업에 ChatGPT를 통합함으로써 전통적 수업 방법에 비해 학업 성취도가 향상되는가?
• RQ2 ChatGPT 사용은 정규화된 성취도(Hake 요소)로 측정된 개념적 이해도에 어떤 영향을 미치는가?
• RQ3 학생들은 ChatGPT의 물리 개념 이해 지원 및 독립 학습 지원 능력에 대해 어떻게 평가하는가?
• RQ4 ChatGPT 사용은 비판적 사고 감소나 AI 생성 응답에 대한 과도한 의존과 어느 정도 관련이 있는가?
• RQ5 ChatGPT는 학습 결과를 훼손시키지 않으면서 전통적 수업에 효과적인 보조 수단으로 기능할 수 있는가?

주요 결과

• ChatGPT 통합 그룹(물리학 2 2023A)의 학생들은 대조군(물리학 2 2022B)보다 유의미하게 낮은 시험 성적을 받았다.
• 모든 시험에서 Hake 요소는 실험군에서 음수였으며, 이는 개념적 이해도가 감소했음을 나타낸다.
• 60퍼센트 이상의 학생이 ChatGPT와의 상호작용이 물리 개념 이해도를 깊이 있게 만들었다고 보고했다.
• 68퍼센트의 학생이 ChatGPT가 자신의 지식 수준에 맞게 적응하고 특정 질문에 대해 응답할 수 있는 데 만족했다.
• 약 30퍼센트의 학생이 ChatGPT 사용으로 비판적 사고나 독립적 사고를 하기 어려워졌다고 보고했다.
• 10퍼센트 이상의 학생이 ChatGPT의 설명 정확성 또는 명확성에 만족하지 못했다고 밝혔다.