[論文レビュー] ChatGPT in the Classroom: Boon or Bane for Physics Students' Academic Performance?

Manuel G. Forero, H. J. Herrera-Suárez|arXiv (Cornell University)|Dec 5, 2023

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本実験的研究では、ChatGPTが物理学学生の学業成績に与える影響を、従来の方法を用いた対照群とChatGPTを学習支援として使用した実験群の比較を通じて検討した。結果として、学生が概念的理解やツールへの適応性を向上させると報告しているにもかかわらず、成績が著しく低下し、Hake係数が否定的となった。これは、批判的思考の低下やAI生成コンテンツへの過剰依存のリスクを浮き彫りにしている。

ABSTRACT

This study investigates the influence of ChatGPT, an AI-based language model, on student performance in a physics course. We conducted an experimental analysis with two cohorts of students in a second-semester engineering physics course. The control group (Physics 2 2022B) used traditional teaching methods, while the experimental group (Physics 2 2023A) integrated ChatGPT as a learning tool. Our results indicate that the use of ChatGPT led to a significant decrease in student performance, as evidenced by lower grades and negative Hake factors compared to the control group. In addition, a survey of students revealed conflicting perceptions of the usefulness of ChatGPT in teaching physics. While most recognized its usefulness in understanding concepts and providing information, concerns were raised about its potential to reduce critical thinking and independent learning. These findings suggest that while ChatGPT can be a useful tool, it should be used with caution and as a supplement to traditional teaching methods, rather than as a stand-alone solution. The study underlines the importance of critical and reflective use of AI tools in educational settings and highlights the irreplaceable role of teachers in providing comprehensive educational support.

研究の動機と目的

• 2年次後期の工学物理学課程におけるChatGPTを学習ツールとして統合した場合の学業成績への影響を評価すること。
• 従来の指導法を用いた対照群とChatGPTを用いた実験群の学生の成績を比較すること。
• 学生がChatGPTの有用性、正確性、批判的思考および独立学習への影響についてどのように認識しているかを調査すること。
• ChatGPTのようなAIツールが、物理学教育における深い学習や概念的理解を促進するのか、それとも阻害するのかを評価すること。
• 批判的思考の維持と教員主導の指導の保持を前提に、AIツール統合の教育的戦略を示唆すること。

提案手法

• 2022B（対照群）と2023A（実験群）の2つのコhortの工学物理学学生を対象とした。対照群はChatGPTを用いない従来の指導法を採用した。実験群は、必須のChatGPT 3.5の統合を伴った。
• 対照群は、講義、黒板、スライド、動画、シミュレーション、実験セッションを通じて、標準カリキュラムと教科書に従って指導を受けた。
• 実験群は、初期段階からChatGPT 3.5の使用法を訓練を受け、概念の理解の明確化、問題の生成、宿題支援に活用するよう奨励された。
• 成績は標準化試験を通じて測定され、概念的理解の正規化された増加分を評価するためにHake係数が用いられた。
• 学生の認識を評価するためのアンケートを実施し、ChatGPTの有用性、正確性、適応性、独立学習への影響を調査した。
• 両群の試験得点およびHake係数の統計的比較を通じて、学業成績の差を評価した。

実験結果

リサーチクエスチョン

• RQ1 物理学指導にChatGPTを統合することで、従来の指導法と比較して学業成績が向上するのか？
• RQ2 ChatGPTの使用は、正規化された増加分（Hake係数）で測定される学生の概念的理解にどのような影響を与えるか？
• RQ3 学生は、物理学の概念理解や独立学習支援において、ChatGPTの有用性をどのように認識しているか？
• RQ4 ChatGPTの使用は、批判的思考の低下やAI生成回答への過剰依存とどの程度相関しているか？
• RQ5 ChatGPTは、学習成果に悪影響を及げることなく、従来の指導の有効な補完として機能できるか？

主な発見

• ChatGPT統合群（Physics 2 2023A）の学生は、対照群（Physics 2 2022B）と比較して、顕著に低い試験得点を記録した。
• Hake係数（概念的理解の正規化された増加分を測る指標）は、実験群の全試験で負値を示し、概念的理解の低下を示した。
• 60％を超える学生が、ChatGPTとの対話を通じて物理学的概念の理解を深めることができたと報告した。
• 68％の学生が、ChatGPTが自分の知識レベルに適応し、特定の質問に応える能力に満足していると回答した。
• 約30％の学生が、ChatGPTの使用によって、批判的思考や独立した思考が低下したと報告した。
• 10％を超える学生が、ChatGPTの説明の正確性や明確さに不満を示した。