[论文解读] Enhancing Chemistry Learning with ChatGPT and Bing Chat as Agents to Think With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|May 12, 2023

AI in Service Interactions被引用 6

一句话总结

本研究探讨了ChatGPT与Bing Chat在化学教育中作为‘思维协作者’的运作方式，采用建构主义框架与苏格拉底式提问法，以提升批判性思维与概念理解。结果显示，ChatGPT在响应质量方面优于Bing Chat，其在各类化学主题中均提供了更准确、更详尽且更具语境细微度的解释。

ABSTRACT

This study explores the potential of Generative AI chatbots (GenAIbots) such as ChatGPT and Bing Chat, in Chemistry education, within a constructionist theoretical framework. A single-case study methodology was used to analyse extensive interaction logs between students and both AI systems in simulated Chemistry learning experiences. The results highlight the ability of ChatGPT and Bing Chat to act as 'agents-to-think-with', fostering critical thinking, problem-solving, concept comprehension, creativity, and personalised learning experiences. By employing a Socratic-like questioning approach, GenAIbots nurture students' curiosity and promote active learning. The study emphasises the significance of prompt crafting, a technique to elicit desired responses from GenAIbots, fostering iterative reflections and interactions. It underlines the need for comprehensive educator training to effectively integrate these tools into classrooms. The study concludes that while ChatGPT and Bing Chat as agents-to-think-with offer promising avenues to revolutionise STEM education through a constructionist lens, fostering a more interactive, inclusive learning environment and promoting deeper comprehension and critical thinking in students across diverse Chemistry topics, ChatGPT consistently outperformed Bing Chat, providing more comprehensive, detailed, and accurate responses and skillfully addressing nuances and context.

研究动机与目标

• 探讨生成式AI聊天机器人（ChatGPT与Bing Chat）在化学学习中作为认知伙伴的作用。
• 评估苏格拉底式提问与提示工程对学生参与度及概念理解的影响。
• 比较ChatGPT与Bing Chat在促进化学教育中批判性思维、问题解决能力与个性化学习方面的表现。
• 识别将生成式AI工具整合进STEM课堂所面临的挑战与机遇。
• 为教育者培训策略提供建议，以实现人工智能代理在科学教育中的有效实施。

提出的方法

• 采用单案例研究方法，分析学生与两种AI系统在模拟化学学习情境中的大量交互日志。
• 学生通过迭代式、对话式互动，运用苏格拉底式提问技巧探索化学概念。
• 系统性地应用提示工程，引导AI回应向更深层次的推理、清晰度与语境准确性发展。
• 建构主义学习框架指导整体设计，强调通过与AI代理的互动实现主动的知识建构。
• 对响应质量进行对比分析，重点考察ChatGPT与Bing Chat在完整性、准确性、细节程度与语境相关性方面的差异。
• 通过质性分析交互日志，评估认知参与度、概念发展与元认知反思。

实验结果

研究问题

• RQ1 ChatGPT与Bing Chat在化学学习情境中如何作为‘思维协作者’发挥作用？
• RQ2 苏格拉底式提问与提示工程在多大程度上提升了学生的批判性思维与概念理解？
• RQ3 在各类化学主题中，ChatGPT与Bing Chat的响应质量在准确性、细节程度与语境细微度方面有何差异？
• RQ4 这些AI互动对个性化与包容性STEM教育有何启示？
• RQ5 教育者需要哪些培训与支持，才能有效将生成式AI工具整合进化学课堂？

主要发现

• 在各类化学主题中，ChatGPT始终提供比Bing Chat更全面、更详尽且语境更准确的回应。
• 当使用苏格拉底式提问技巧时，两种AI系统均有效支持了批判性思维与问题解决能力的发展。
• 提示工程显著提升了AI生成解释的质量与相关性，支持了迭代式反思与更深层次的学习。
• 建构主义框架成功将AI定位为认知伙伴，促进了学生的主动参与与概念建构。
• 当使用精心设计的提示时，学生在与AI代理互动中表现出更强的概念理解力与创造力。
• ChatGPT表现更优的原因在于其先进的推理能力以及对复杂科学语境的更好处理能力。