[论文解读] Contextualizing Problems to Student Interests at Scale in Intelligent Tutoring System Using Large Language Models

Gautam Ganapati Yadav, Ying-Jui Tseng+1 more|arXiv (Cornell University)|May 31, 2023

Text Readability and Simplification被引用 6

一句话总结

本文提出使用 GPT-4 通过迭代提示工程，在智能辅导系统（CTAT）中大规模地将代数应用题与学生兴趣对齐，实现自动情境化，同时通过迭代提示工程保持问题的难度和原始意图。该方法可在不改变数值或增加不必要的复杂性的情况下，大规模生成个性化问题，显著提升参与度潜力。

ABSTRACT

Contextualizing problems to align with student interests can significantly improve learning outcomes. However, this task often presents scalability challenges due to resource and time constraints. Recent advancements in Large Language Models (LLMs) like GPT-4 offer potential solutions to these issues. This study explores the ability of GPT-4 in the contextualization of problems within CTAT, an intelligent tutoring system, aiming to increase student engagement and enhance learning outcomes. Through iterative prompt engineering, we achieved meaningful contextualization that preserved the difficulty and original intent of the problem, thereby not altering values or overcomplicating the questions. While our research highlights the potential of LLMs in educational settings, we acknowledge current limitations, particularly with geometry problems, and emphasize the need for ongoing evaluation and research. Future work includes systematic studies to measure the impact of this tool on students' learning outcomes and enhancements to handle a broader range of problems.

研究动机与目标

• 解决在智能辅导系统中手动为学生兴趣个性化应用题所面临的可扩展性挑战。
• 探索类似 GPT-4 的大语言模型是否能够大规模生成情境相关且教育有效的题目变体。
• 在嵌入学生特定兴趣的同时，保留原始问题的数学结构、数值和意图。
• 为 CTAT 中大规模生成基于兴趣的问题变体，开发一种实用且由教师控制的工作流程。
• 评估大语言模型在情境化教育内容方面（尤其是几何和视觉问题）的可行性与局限性。

提出的方法

• 采用少样本学习方法，结合多样化的兴趣示例，通过迭代提示工程引导 GPT-4 生成情境丰富的题目变体。
• 应用严格规则：不更改数值、不增加额外问题、不使题目陈述过度复杂化。
• 通过 CTAT 平台中的“基于兴趣的情境化”标签页，将 GPT-4 集成到大规模生成功能中，实现教师主导的题目创作。
• 在面向学生的界面中实现实时预览与编辑，确保生成题目质量与原始意图一致。
• 聚焦于代数应用题，特别是线性方程与表达式，以测试情境化保真度。
• 使用包含定义变量和多部分问题的输入题目，将其转化为基于 NBA、TikTok 和电子游戏等兴趣的主题叙事。

Figure 1: User can enter or add interests in the “Contexualize By Interest” tab

实验结果

研究问题

• RQ1 GPT-4 是否能够生成与情境相符、数学上准确的个性化代数应用题，同时保持原始问题的数学数值和结构？
• RQ2 基于学生兴趣的情境化在多大程度上能提升智能辅导系统中的参与度和学习成效？
• RQ3 迭代提示工程在确保大语言模型生成的题目保持教育有效性且无额外复杂性方面有多高效？
• RQ4 当前大语言模型在处理依赖图表或视觉呈现的问题（如几何题）方面存在哪些局限性？
• RQ5 所提出的方法是否能够扩展以支持广泛的学生兴趣，同时不损害题目完整性？

主要发现

• GPT-4 有效生成了与多样化学生兴趣（如 NBA、TikTok 和电子游戏）相符的情境相关、数学准确的题目变体。
• 该方法成功保留了原始题目的数值和结构，避免了过度复杂化或对题目意图的无意改变。
• 结合少样本示例的迭代提示工程显著提升了生成题目情境的一致性与质量。
• 该系统实现了在 CTAT 平台内可扩展、由教师控制的大规模个性化题目生成，支持实际课堂整合。
• 尽管在代数应用题中表现良好，GPT-4 在需要图表或视觉表示的几何题上仍表现吃力。
• 当前方法不生成视觉组件，限制了其在依赖图形或空间理解的问题中的实用性。

Figure 2: After user click the “CONTEXUALIZE” button, they can preview and edit the contexualized problems. For example, this figure show how the system contexualized the original algebra problem based on the “TikTok” interest.