[论文解读] Towards Scalable Adaptive Learning with Graph Neural Networks and Reinforcement Learning

Jean Vassoyan, Jill-Jênn Vie+1 more|arXiv (Cornell University)|May 10, 2023

Online Learning and Analytics被引用 5

一句话总结

该论文提出了一种可扩展、可重用的强化学习框架，利用图神经网络（GNNs）实现学习路径个性化，能够从最少的用户交互中学习，无需专家标注的元数据。在使用真实教育资料的半合成环境中，其性能显著优于随机基线，展现出在低数据场景下的优异表现，同时具备跨领域迁移学习的潜力。

ABSTRACT

Adaptive learning is an area of educational technology that consists in delivering personalized learning experiences to address the unique needs of each learner. An important subfield of adaptive learning is learning path personalization: it aims at designing systems that recommend sequences of educational activities to maximize students' learning outcomes. Many machine learning approaches have already demonstrated significant results in a variety of contexts related to learning path personalization. However, most of them were designed for very specific settings and are not very reusable. This is accentuated by the fact that they often rely on non-scalable models, which are unable to integrate new elements after being trained on a specific set of educational resources. In this paper, we introduce a flexible and scalable approach towards the problem of learning path personalization, which we formalize as a reinforcement learning problem. Our model is a sequential recommender system based on a graph neural network, which we evaluate on a population of simulated learners. Our results demonstrate that it can learn to make good recommendations in the small-data regime.

研究动机与目标

• 解决现有学习路径个性化系统依赖专家标注元数据所导致的可重用性和可扩展性局限。
• 开发一种无需模型的强化学习框架，根据学习者反馈和资源内容动态推荐教育内容。
• 通过学习高层、与语料无关的知识表征，实现在不同教育领域之间的迁移学习。
• 通过构建能跨教育资料集泛化的系统，减轻自适应学习中的冷启动问题。

提出的方法

• 将学习路径个性化形式化为一种无需模型的强化学习问题，采用序列推荐系统。
• 使用图神经网络将教育资料和学习者交互编码为统一的知识表征。
• 利用Wikipedia2Vec的关键词嵌入构建异质图，其中节点代表资源和学习者，边编码语义关系和交互关系。
• 应用REINFORCE算法进行策略梯度训练，以优化随时间累积的学习收益。
• 学习一种策略，根据当前状态（包括知识估计和交互历史）选择下一个教育活动。
• 提出一种可扩展的架构，避免使用独热编码，并且独立于固定的资源或技能词汇表。

实验结果

研究问题

• RQ1 基于GNN的强化学习模型是否能在无专家标注先决条件或元数据的情况下，学习到有效的学习路径推荐？
• RQ2 该模型在不同教育语料库之间泛化的能力如何，特别是在低数据或冷启动场景下？
• RQ3 该模型的策略在多大程度上可从一个领域迁移到另一个领域？哪些因素限制或促进这种迁移？
• RQ4 在半合成学习环境中，该模型的性能与随机或启发式基线相比如何？

主要发现

• 所提出的模型在所有六个半合成环境中均显著优于均匀随机策略，证明了其能从有限交互中有效学习。
• 该模型在小样本数据场景下表现优异，表明即使使用高方差的REINFORCE算法，仍具备高样本效率。
• 该模型展现出迁移学习的潜力，但对特定语料结构的过拟合限制了其在不同领域之间的泛化能力。
• 观察到图结构断开的问题，特别是在文档节点孤立时，表明其在处理稀疏或不完整图结构方面存在局限。
• 该模型缺乏可解释性，作为黑箱运行，无法清晰揭示知识状态的演化过程，这是其主要局限。
• 未来改进可包括使用离策略算法或基于模型的强化学习，以提升样本效率并降低方差。