[论文解读] AI and Education: An Investigation into the Use of ChatGPT for Systems Thinking

Holger Arndt|arXiv (Cornell University)|Jul 26, 2023

Complex Systems and Decision Making被引用 7

一句话总结

本研究探讨了ChatGPT在各类学术科目中通过通用提示和学科特定提示支持系统思维（ST）的能力。结果表明，ChatGPT提供的回应大多准确、有帮助且可靠，显示出其作为系统思维教学工具的强劲潜力，尽管用户仍需保持批判性警惕，因为偶尔会出现不准确的情况。

ABSTRACT

This exploratory study investigates the potential of the artificial intelligence tool, ChatGPT, to support systems thinking (ST) in various subjects. Using both general and subject specific prompts, the study assesses the accuracy, helpfulness, and reliability of ChatGPT's responses across different versions of the tool. The results indicate that ChatGPT can provide largely correct and very helpful responses in various subjects, demonstrating its potential as a tool for enhancing ST skills. However, occasional inaccuracies highlight the need for users to remain critical of ChatGPT's responses. Despite some limitations, this study suggests that with careful use and attention to its idiosyncrasies, ChatGPT can be a valuable tool for teaching and learning ST.

研究动机与目标

• 探讨ChatGPT在各类学科教育情境中支持系统思维（ST）的程度。
• 评估ChatGPT在使用通用提示和学科特定提示时，其回应的准确性、有帮助性和可靠性。
• 识别在将类似ChatGPT的大型语言模型整合到ST教学时的局限性与用户注意事项。
• 评估类似ChatGGPT的人工智能工具作为可扩展、互动式的辅助手段，在培养学生系统思维能力方面的潜力。

提出的方法

• 本研究采用定性探索性方法，使用一系列旨在激发系统思维回应的提示。
• 提示被划分为通用ST任务和学科特定应用（例如，科学、社会科学和伦理学领域）。
• 对多个版本的ChatGPT生成的回应进行了分析，评估其连贯性、深度以及与反馈回路和相互关联等系统思维原则的一致性。
• 评估标准包括准确性、有帮助性和可靠性，重点关注事实一致性与概念严谨性。
• 分析重点在于识别不同学科领域中回应质量的模式及常见错误类型。

实验结果

研究问题

• RQ1 ChatGPT在多大程度上能够生成准确且概念严谨的回应，体现系统思维原则？
• RQ2 ChatGPT在不同学术学科中的回应质量与可靠性如何变化？
• RQ3 ChatGPT的系统思维回应中常出现哪些类型的错误或不一致？
• RQ4 教育工作者如何批判性地评估并有效整合ChatGPT的输出到ST教学中？

主要发现

• ChatGPT持续生成与系统思维原则高度一致的回应，包括识别反馈回路和相互依赖关系。
• 该模型在各类学科中均提供了有帮助且连贯的回应，表明其在教育环境中的广泛适用性。
• 尽管大多数回应在事实上准确，但在复杂或细微的学科领域中仍观察到偶尔的错误。
• 不同版本的ChatGPT回应质量略有差异，表明模型迭代会影响性能。