[論文レビュー] Exploring the Impact of ChatGPT on Student Interactions in Computer-Supported Collaborative Learning

Han Kyul Kim, Shriniwas Nayak+4 more|arXiv (Cornell University)|Mar 11, 2024

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

この研究は、非同期CSCLのブレインストーミングにおいてChatGPTを即時のQ&Aエージェントとして組み込むことが学生の相互作用に与える影響を調査し、全体のアクティブラーニングには変化が見られなかったが、重要な変化を示す：学生–ChatGPTの相互作用でアクティブラーニングが高まり、Type Bコホートでは学生–学生のアクティブラーニングが22.6ポイント増加した。

ABSTRACT

The growing popularity of generative AI, particularly ChatGPT, has sparked both enthusiasm and caution among practitioners and researchers in education. To effectively harness the full potential of ChatGPT in educational contexts, it is crucial to analyze its impact and suitability for different educational purposes. This paper takes an initial step in exploring the applicability of ChatGPT in a computer-supported collaborative learning (CSCL) environment. Using statistical analysis, we validate the shifts in student interactions during an asynchronous group brainstorming session by introducing ChatGPT as an instantaneous question-answering agent.

研究の動機と目的

• ChatGPTをCSCLに適用して創造的思考開発を進めることが、大学院の製品工学設定での適用性を探る。
• ChatGPTが利用可能なときの学生相互作用パターンの変化を定量的に分析する。
• ChatGPTが全体的なアクティブラーニングと非同期のグループブレインストーミングにおける学習者間ダイナミクスに影響を与えるかを評価する。

提案手法

• チャットGPTを含む12コホートの2023年製品工学コースの大学院CSCLデータセット（Type AはChatGPTあり6コホート、Type BはChatGPTなし6コホート）。
• ChatGPTの回答はOpenAI APIを介してタグ付けされたメッセージに投稿され、グループ内での即時QAを可能にする。
• アクティブラーニングメッセージは、協同学習対話スキル分類学（CLCST）を用いて、リクエスト、情報、動機づけに焦点を合わせて注釈付け。
• 熟練者間の信頼性はコーエンのkappa=0.932（ほぼ完全一致）で測定。
• ChatGPTの有無と週を共変量とした反復ANOVA；対での比較にはTukey事後検定を適用。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTを導入することでCSCLグループ討議の全体的なアクティブラーニングの水準は変化するか？
• RQ2 ChatGPTの有無は学生–学生の相互作用と学生–ChatGPTの相互作用のバランスにどう影響するか？
• RQ3 相互作用タイプ別の効果（学生–学生 vs 学生–ChatGPT）が週ごとにアクティブラーニングに及ぼす影響はあるか？

主な発見

Source of Variation	SS	df	F
ChatGPT	0.307	1	4.909*
Week	0.031	1	0.501
ChatGPT × Week	0.080	1	1.285

• Type A（ChatGPTあり）とType B（ChatGPTなし）コホート間で全体のアクティブラーニングに統計的に有意な差は見られない。
• Type BコホートはType Aコホートと比較して、学生–学生相互作用におけるアクティブラーニングの割合が22.6ポイント高い（p調整=0.037）。
• Type Aコホート内では、学生–ChatGPT相互作用は学生–学生相互作用よりも有意に高いアクティブラーニングを示し、平均差は53.57ポイント（p調整=0.000）。
• 学生–学生相互作用に関するANOVAはChatGPTを有意因子として示し（F=4.909、p<0.05）、アクティブラーニング比率を変動させる。
• 週と相互作用項は測定アウトカムに対して限定的または有意な効果なし。
• 結論として、ChatGPTは総合的な学生–学生のアクティブラーニングを抑制する一方で、学生とChatGPT間の双方向性を増加させると notes。