[论文解读] MathVC: An LLM-Simulated Multi-Character Virtual Classroom for Mathematics Education

Murong Yue, Lyu, Wenhan+3 more|arXiv (Cornell University)|Apr 10, 2024

Topic Modeling被引用 4

一句话总结

MathVC 引入了首个由 LLM 驱动的虚拟课堂，其中包含多个由 LLM 模拟的学生角色，使学生能够通过真实、协作的讨论来练习数学建模（MM）。通过整合领域特定知识、符号化思维模式和元规划器，MathVC 实现了特征一致且对话流畅的程序性对齐，显著提升了模拟 MM 小组合作的逼真度与教育价值。

ABSTRACT

Collaborative problem solving (CPS) is essential in mathematics education, fostering deeper learning through the exchange of ideas. Yet, classrooms often lack the resources, time, and peer dynamics needed to sustain productive CPS. Recent advancements in Large Language Models (LLMs) offer a promising avenue to enhance CPS in mathematical education. We designed and developed MathVC, a multi-persona LLM simulated virtual classroom platform to facilitate CPS in mathematics. MathVC combines a meta planning controller that monitors CPS stages-sense-making, team organization, planning, execution, validation, and predicts the next speaker, with a persona simulation stack that encodes mathematical thinking via a task schema and error-injected persona schemas seeded from teacher-specified misconceptions. We evaluated MathVC with 14 U.S. middle schoolers. Students reported constructive interaction and reaching shared solutions, describing gains in engagement, motivation, and confidence through diverse perspectives, immediate scaffolding, and human-like fallibility. Our findings also provide insights into simulating peers via LLM-based technologies for collaboration to support learning.

研究动机与目标

• 解决资源匮乏教育环境中缺乏协作数学建模（MM）练习机会的问题。
• 利用 LLM 模拟真实中学阶段学生在 MM 小组讨论中的行为，克服纯提示工程驱动的字符模拟方法的局限性。
• 确保 LLM 模拟的学生能够以迭代方式发展其理解，反映真实学生的学习过程。
• 保持连贯、分阶段的对话流程，以模仿真实 MM 讨论的程序步骤。
• 开发一个可扩展、无需教师参与的平台，通过互动式多智能体虚拟课堂提升 MM 技能。

提出的方法

• 将领域特定的数学建模知识融入 LLM 提示，以引导逼真的问题解决行为。
• 为每个 LLM 角色定义符号化思维模式，编码其独特特征（例如数学能力、推理风格），以确保特征一致性。
• 在平台层面设计一个元规划器，协调各角色之间的对话流程，确保对话按阶段推进，如问题理解、任务分配和方案规划。
• 采用两阶段 LLM 推理流水线：首先基于思维模式和对话上下文生成对话行为（动作），然后基于这些动作生成自然语言响应。
• 使用结构化提示并显式追踪变量（例如，'tomatos_servings': 200），以维持一致性并检测智能体之间的不一致。
• 通过消融研究和对模拟对话的定性分析验证对齐效果，与真实学生讨论模式进行对比。

Figure 1: An example demonstrating the application of MathVC , where students are presented a math problem (optionally with accompanied data) and engage in effective discussions on math modeling. Alice, Bob, and Charlie 3 3 3 We use the three names as “placeholders” following the conversion in scien

实验结果

研究问题

• RQ1 具有不同特质的 LLM 模拟学生角色是否能够真实地模拟中学阶段学生数学建模过程的迭代演化特性？
• RQ2 符号化思维模式的整合在多大程度上提升了基于 LLM 的学生模拟中的特征一致性？
• RQ3 元规划器在协作问题解决过程中，是否有效维持了多个 LLM 智能体之间的对话程序性对齐？
• RQ4 所提出的框架是否能够生成在结构和内容上与真实学生 MM 讨论在感知上无法区分的对话？
• RQ5 所提出的组件（思维模式、元规划器、领域知识）对虚拟课堂的逼真度和教育保真度产生了何种影响？

主要发现

• 将领域特定的数学建模知识整合后，LLM 生成的解决方案和推理路径的逼真度显著提升。
• 符号化思维模式使 LLM 角色表现出一致且符合其特质的行为，防止了过早或过度精确的解答。
• 元规划器成功引导对话按结构化阶段（如问题理解、任务分配）推进，模仿了真实学生小组的动态。
• 消融研究证实，若移除任意一个核心组件（思维模式、元规划器、领域知识），模拟对话的质量和真实性均会下降。
• 系统生成的对话具有高度的程序连贯性和变量一致性，证明其具备模拟真实协作问题解决过程的能力。
• 该平台使学生能够在无需实时教师监督的情况下，开展有意义且有支架支持的 MM 技能练习。

Figure 2: Example task and character schema. The LLM edits the correct value 16 into 15 in the task schema to simulate the initial mistake made by the simulated student Charlie.