[论文解读] Beyond Answers: Large Language Model-Powered Tutoring System in Physics Education for Deep Learning and Precise Understanding

Zhoumingju Jiang, Mengjun Jiang|arXiv (Cornell University)|Jun 16, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用 4

一句话总结

本文介绍了Physics-STAR，一种基于大语言模型（LLM）的辅导系统，可为高中物理教育提供个性化、分步式的指导。在一项包含12名学生的控制实验中，Physics-STAR在复杂信息类问题上使概念理解和计算得分提高了100%，并提升了5.95%的效率，表现优于传统讲授课和通用LLM辅导。

ABSTRACT

The integration of artificial intelligence (AI) in education has shown significant promise, yet the effective personalization of learning, particularly in physics education, remains a challenge. This paper proposes Physics-STAR, a framework for large language model (LLM)- powered tutoring system designed to address this gap by providing personalized and adaptive learning experiences for high school students. Our study evaluates Physics-STAR against traditional teacher-led lectures and generic LLM tutoring through a controlled experiment with 12 high school sophomores. Results showed that Physics-STAR increased students' average scores and efficiency on conceptual, computational, and on informational questions. In particular, students' average scores on complex information problems increased by 100% and their efficiency increased by 5.95%. By facilitating step-by-step guidance and reflective learning, Physics-STAR helps students develop critical thinking skills and a robust comprehension of abstract concepts. The findings underscore the potential of AI-driven personalized tutoring systems to transform physics education. As LLM continues to advance, the future of student-centered AI in education looks promising, with the potential to significantly improve learning outcomes and efficiency.

研究动机与目标

• 解决利用人工智能个性化高中物理教育的挑战。
• 设计一种辅导系统，支持超越机械答案的深层概念理解。
• 评估基于LLM的系统相较于传统教学和通用LLM辅导的有效性。
• 提升学生在复杂、多步骤物理问题上的效率与表现。
• 探究反思性学习与分步式支架如何提升对抽象物理概念的理解。

提出的方法

• Physics-STAR是一种利用大语言模型提供自适应、个性化高中物理辅导的框架。
• 该系统通过分步指导支持问题解决，强调推理过程与概念清晰性。
• 系统整合了反思性学习提示，帮助学生内化并评估自身理解。
• 该系统在一项控制实验中进行了评估，参与对象为12名高中二年级学生，涵盖三类问题：概念类、计算类和信息类。
• 通过与传统教师讲授课和通用LLM辅导的对比，评估了性能与效率。
• 该框架利用LLM根据学生输入动态调整回应，促进更深层次的参与。

实验结果

研究问题

• RQ1 基于LLM的辅导系统相较于传统教师讲授课，在提升学生物理成绩方面表现如何？
• RQ2 Physics-STAR在提升学生解决复杂物理问题的效率方面达到何种程度？
• RQ3 LLM提供的个性化、分步式指导能否提升高中生在物理中的深层概念理解？
• RQ4 该系统的反思性学习组件如何影响学生对抽象物理概念的理解？
• RQ5 Physics-STAR对不同类型问题（包括复杂信息类问题）的性能影响如何？

主要发现

• 使用Physics-STAR的学生在复杂信息类问题上的平均得分相比基线方法提高了100%。
• 该系统在所有问题类型上平均提升了5.95%的学生效率。
• Physics-STAR在概念类和计算类问题上的表现显著优于传统教师讲授课和通用LLM辅导。
• 分步指导与反思性学习组件共同促进了学生对抽象物理概念的更好理解。
• 由于系统提供自适应、个性化的反馈，学生表现出更强的批判性思维与更深层次的理解。
• 结果表明，基于人工智能的辅导系统能够有效支持物理教育中的深度学习与精确理解。