[论文解读] Educational Personalized Learning Path Planning with Large Language Models

Chee M. Ng, Yik Hing Fung|arXiv (Cornell University)|Jul 16, 2024

Educational Technology and Assessment被引用 4

一句话总结

本文提出了一种新颖的个性化学习路径规划（PLPP）框架，通过结构化提示工程利用大型语言模型（LLMs），如 GPT-4 和 LLaMA-2-70B，生成量身定制、透明且具有教育学合理性的学习路径。该方法显著提升了准确性、用户满意度和学习路径质量，尤其在使用 GPT-4 时表现突出，显著提高了学习者的表现和留存率。

ABSTRACT

Educational Personalized Learning Path Planning (PLPP) aims to tailor learning experiences to individual learners' needs, enhancing learning efficiency and engagement. Despite its potential, traditional PLPP systems often lack adaptability, interactivity, and transparency. This paper proposes a novel approach integrating Large Language Models (LLMs) with prompt engineering to address these challenges. By designing prompts that incorporate learner-specific information, our method guides LLMs like LLama-2-70B and GPT-4 to generate personalized, coherent, and pedagogically sound learning paths. We conducted experiments comparing our method with a baseline approach across various metrics, including accuracy, user satisfaction, and the quality of learning paths. The results show significant improvements in all areas, particularly with GPT-4, demonstrating the effectiveness of prompt engineering in enhancing PLPP. Additional long-term impact analysis further validates our method's potential to improve learner performance and retention. This research highlights the promise of LLMs and prompt engineering in advancing personalized education.

研究动机与目标

• 为解决传统 PLPP 系统在个性化学习体验方面普遍缺乏适应性、互动性和透明度的问题。
• 探究提示工程是否能够引导 LLM 生成基于个体学习者档案的个性化、连贯且具有教育学有效性的学习路径。
• 通过实证实验评估基于 LLM 的 PLPP 对学习者参与度、表现和留存率的影响。
• 比较在采用定制提示设计增强后，不同 LLM（特别是 GPT-4 和 LLaMA-2-70B）在 PLPP 中的有效性。

提出的方法

• 设计针对任务的提示，嵌入学习者特定的数据，包括先前知识、学习目标和偏好，以引导 LLM 生成定制化学习路径。
• 引入多轮对话机制，使 LLM 主动提出澄清性问题，根据学习者反馈优化推荐内容。
• 在提示中嵌入教育学解释（例如，“解释为何先学习概念 A 再学习概念 B 更有益”），以增强透明度并提升用户信任。
• 采用 GPT-4 和 LLaMA-2-70B 作为底层 LLM，提示工程作为控制输出的主要机制，无需微调。
• 利用涵盖学习者档案和教育内容的综合数据集，训练并评估系统在多个指标下的性能。
• 结合定量指标（准确性、路径质量）与定性评估（用户满意度、专家评估，使用 GPT-4）以验证结果。

实验结果

研究问题

• RQ1 提示工程是否能有效引导 LLM 生成个性化、连贯且具有教育学合理性的学习路径，以适配个体学习者？
• RQ2 在提示中集成多轮对话与解释性内容，如何影响学习路径推荐的准确性与透明度？
• RQ3 在采用结构化提示增强后，GPT-4 和 LLaMA-2-70B 等 LLM 在个性化学习路径规划中相较于基线系统，优势体现在多大程度上？
• RQ4 LLM 生成的个性化学习路径对学习者表现和留存率的长期影响如何？

主要发现

• 所提方法将路径准确性从基线（LLaMA-2-70B）的 72.4% 提升至 85.6%，从基线（GPT-4）的 75.8% 提升至 88.3%。
• 用户满意度评分从 LLaMA-2-70B 的 3.5 上升至 4.2，从 GPT-4 的 3.7 上升至 4.4，表明用户对个性化且透明的推荐具有高度接受度。
• 学习路径质量显著提升，评分从 LLaMA-2-70B 的 3.7 上升至 4.5，从 GPT-4 的 3.9 上升至 4.7，反映出更强的连贯性与逻辑顺序。
• 遵循所提方法生成路径的学习者，测试成绩提升 21.4%，三个月后留存率达 82.5%，相较基线的 12.3% 和 65.2% 显著提高。
• GPT-4 在所有指标上均持续优于 LLaMA-2-70B，证明更先进的 LLM 在复杂教育推理任务中具有优势。
• 包含解释性提示显著增强了用户信任与参与度，学习者报告对推荐学习序列背后的逻辑更具信心。