[论文解读] Exploring the Impact of ChatGPT on Student Interactions in Computer-Supported Collaborative Learning

Han Kyul Kim, Shriniwas Nayak+4 more|arXiv (Cornell University)|Mar 11, 2024

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本研究探讨在异步 CSCL 头脑风暴中将 ChatGPT 作为即时问答代理的引入，如何改变学生互动，结果显示总体主动学习未有变化，但发生显著转变：在学生–ChatGPT 互动中主动学习水平提高，Type B 队列中学生–学生互动的主动学习占比提升了 22.6 个百分点。

ABSTRACT

The growing popularity of generative AI, particularly ChatGPT, has sparked both enthusiasm and caution among practitioners and researchers in education. To effectively harness the full potential of ChatGPT in educational contexts, it is crucial to analyze its impact and suitability for different educational purposes. This paper takes an initial step in exploring the applicability of ChatGPT in a computer-supported collaborative learning (CSCL) environment. Using statistical analysis, we validate the shifts in student interactions during an asynchronous group brainstorming session by introducing ChatGPT as an instantaneous question-answering agent.

研究动机与目标

• 在研究生产品工程环境中探索 ChatGPT 在 CSCL 中促进创造性思维发展的适用性。
• 在可使用 ChatGPT 时对学生互动模式的变化进行定量分析。
• 评估 ChatGPT 是否影响异步小组头脑风暴中的总体主动学习和同伴间动态。

提出的方法

• 来自 2023 年产品工程课程的研究生 CSCL 数据集，包含 12 个队列（6 个 Type A 有 ChatGPT，6 个 Type B 无）。
• 通过 OpenAI API 将 ChatGPT 回应发布到带标签的消息中，实现组内即时问答。
• 主动学习信息使用协作学习对话技能分类法（CLCST）进行标注，重点关注请求、信息与激励。
• 不同标注者之间的一致性用 Cohen's κ=0.932（几乎完美一致）进行测量。
• 将 ChatGPT 存在与周次作为协变量进行重复方差分析（ANOVA）；对成对比较使用 Tukey 事后检验。

实验结果

研究问题

• RQ1 引入 ChatGPT 是否改变 CSCL 小组讨论中的总体主动学习水平？
• RQ2 ChatGPT 的存在如何影响学生–学生互动与学生–ChatGPT 互动之间的平衡？
• RQ3 是否存在按互动类型划分的效应（学生–学生 vs. 学生–ChatGPT）在各周中的主动学习表现？

主要发现

• Type A（有 ChatGPT）与 Type B（无 ChatGPT）队列在总体主动学习方面没有统计学显著差异。
• Type B 队列在学生–学生互动中的主动学习占比比 Type A 队列高 22.6 个百分点（p 调整 = 0.037）。
• 在 Type A 队列中，学生–ChatGPT 互动的主动学习水平显著高于学生–学生互动，平均差异为 53.57 个百分点（p 调整 = 0.000）。
• 学生–学生互动的 ANOVA 显示 ChatGPT 是一个显著因素（F = 4.909，p < 0.05），在改变主动学习比率方面。
• 周次与交互项对测量结果显示出有限或无显著影响。
• 结论指出 ChatGPT 在总体上降低了学生–学生的主动学习，但增加了学生与 ChatGPT 之间的双向互动；新颖性效应未被明确考虑。