[论文解读] Enhancing Chemistry Learning with ChatGPT, Bing Chat, Bard, and Claude as Agents-to-Think-With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|Oct 23, 2023

Online Learning and Analytics被引用 4

一句话总结

本项对比案例研究通过模拟学生互动与内容分析，评估了ChatGPT、Bing Chat、Bard和Claude作为‘思维协作者’在化学教育中的表现。ChatGPT在情境理解、批判性思维和苏格拉底式提问方面表现优于其他模型，展现出通过动态、个性化对话提升学习效果的卓越潜力。

ABSTRACT

This research delves into the comparative advantages of Generative AI chatbots (GenAIbots) -- ChatGPT, Bing Chat, Bard, and Claude -- in the context of Chemistry education, framed within a constructivist perspective. Our primary objective was to identify which of these four AI tools is more effective for enhancing Chemistry learning. Employing a single-case study approach, we scrutinised interaction logs between the AI systems and a simulated student persona during Chemistry learning simulations, incorporating Content Analysis methodology to delve deeper into the discourse. Our findings underscore these tools' potential as "agents-to-think-with", enhancing critical thinking, problem-solving, comprehension, creativity, and tailored learning. Especially noteworthy is their ability to stimulate learners through Socratic-like questioning, aligning with constructionist principles. The research emphasises the pivotal role of prompt crafting to coax desired responses from GenAIbots, engendering iterative reflections. It also highlights the need for robust educator training to infuse these technologies into educational settings. Conclusively, while ChatGPT, Bing Chat, Bard, and Claude are poised to enrich Chemistry education by fostering dynamic, inclusive learning experiences, ChatGPT stood out, decisively surpassing Bing Chat in its performance. Bard and Claude trailed closely, with all three showcasing a more in-depth, precise, and nuanced understanding, underscoring ChatGPT's adeptness at contextual comprehension.

研究动机与目标

• 评估四种生成式AI聊天机器人——ChatGPT、Bing Chat、Bard和Claude——作为提升化学学习效果的工具的有效性。
• 探讨这些AI系统如何作为‘思维协作者’，在建构主义学习框架下支持批判性思维、问题解决与理解能力。
• 识别提示工程在教育情境中激发生成式AI输出高质量、细致响应方面的作用。
• 评估这些发现对教师培训以及将AI工具整合进正式化学教学的影响。
• 确定哪一AI模型最能有效支持个性化、基于探究的化学学习。

提出的方法

• 采用单案例研究方法，通过模拟学生角色参与化学学习任务。
• 利用AI模型与模拟学习者之间的交互日志，分析话语模式与响应质量。
• 应用内容分析方法，系统评估AI生成响应的深度、准确性与教学价值。
• 重点关注苏格拉底式提问、情境理解与响应精确度作为关键评估维度。
• 通过迭代式提示优化，评估提示设计对AI表现与响应质量的影响。
• 基于模型在激发反思、促进创造力及支持化学教育问题解决方面的能力进行评估。

实验结果

研究问题

• RQ1 ChatGPT、Bing Chat、Bard和Claude在支持化学学习任务时，作为‘思维协作者’的表现如何？
• RQ2 哪一AI模型在运用苏格拉底式提问促进批判性思维与概念理解方面最为有效？
• RQ3 提示工程在教育情境中对生成式AI响应质量与深度的影响程度如何？
• RQ4 在模拟化学学习过程中，这些模型在情境理解、精确度与适应学习者需求方面表现如何比较？
• RQ5 这些发现对将生成式AI整合进正式化学教育及教师培训具有何种启示？

主要发现

• 在化学学习模拟中，ChatGPT在情境理解、响应深度与教学有效性方面显著优于Bing Chat。
• Bard与Claude提供的响应比Bing Chat更深入、精确且更具细微差别，但其一致性不及ChatGPT。
• 所有四个模型均展现出作为‘思维协作者’的强劲潜力，通过互动对话显著增强批判性思维、问题解决与创造力。
• 苏格拉底式提问在ChatGPT中运用最为有效，与建构主义学习原则高度契合。
• 提示设计被确定为激发生成式AI模型输出高质量、具有反思性与准确性响应的关键因素。
• 本研究强调了教师培训的必要性，以有效整合这些AI工具进化学课堂，最大化其学习潜力。