[论文解读] Deep Reinforcement Learning for Adaptive Learning Systems

Xiao Li, Hanchen Xu+2 more|arXiv (Cornell University)|Apr 17, 2020

Reinforcement Learning in Robotics参考文献 46被引用 4

一句话总结

该论文将自适应学习建模为具有连续潜在特质的马尔可夫决策过程，并提出一种基于神经网络过渡模型估计器的无模型深度Q学习算法，以从有限数据中学习最优个性化学习策略。该方法显著提升了样本效率，即使仅有200名学习者也能实现有效的策略学习。

ABSTRACT

In this paper, we formulate the adaptive learning problem---the problem of how to find an individualized learning plan (called policy) that chooses the most appropriate learning materials based on learner's latent traits---faced in adaptive learning systems as a Markov decision process (MDP). We assume latent traits to be continuous with an unknown transition model. We apply a model-free deep reinforcement learning algorithm---the deep Q-learning algorithm---that can effectively find the optimal learning policy from data on learners' learning process without knowing the actual transition model of the learners' continuous latent traits. To efficiently utilize available data, we also develop a transition model estimator that emulates the learner's learning process using neural networks. The transition model estimator can be used in the deep Q-learning algorithm so that it can more efficiently discover the optimal learning policy for a learner. Numerical simulation studies verify that the proposed algorithm is very efficient in finding a good learning policy, especially with the aid of a transition model estimator, it can find the optimal learning policy after training using a small number of learners.

研究动机与目标

• 解决在具有连续潜在特质的自适应系统中学习最优个性化学习策略的挑战。
• 通过引入数据高效的过渡模型估计器，克服无模型深度强化学习在低数据场景下的局限性。
• 通过利用从学习到的过渡模型生成的合成轨迹，提升训练深度Q网络在自适应学习中的样本效率。
• 证明所提出方法在最小化达到目标熟练水平所需学习步数方面优于启发式策略和随机策略。
• 实现在无需教师监督或大规模历史数据集的情况下，实现可扩展的个性化学习。

提出的方法

• 将自适应学习问题建模为马尔可夫决策过程（MDP），其中连续潜在特质作为状态，学习材料作为动作。
• 应用无模型深度Q学习（DQN）算法，在不依赖状态转移动态先验知识的情况下学习最优策略。
• 开发一种基于神经网络的过渡模型估计器，从历史数据中学习模拟学习者进展的能力。
• 利用训练好的过渡模型估计器生成合成轨迹，通过数据增强实现更高效的DQN训练。
• 在真实交互数据和过渡模型生成的合成轨迹上联合训练DQN，提升策略泛化能力和样本效率。
• 采用测量模型（如受项目反应理论启发的模型）从学习者响应中估计连续潜在特质，构成状态表示。

实验结果

研究问题

• RQ1 深度强化学习能否有效学习具有连续潜在特质的自适应系统中的最优学习策略？
• RQ2 在基于DRL的自适应学习中，引入学习到的过渡模型估计器在多大程度上提升了样本效率？
• RQ3 所提出方法在收敛速度和最终性能方面，与启发式和随机学习策略相比，优势有多大？
• RQ4 随着真实学习者数量的增加，DQN策略的性能如何变化？
• RQ5 当仅有少量真实学习者可用时，过渡模型估计器是否仍能实现有效的策略学习？

主要发现

• 与基线DQN相比，采用过渡模型估计器的所提方法在真实学习者少于200名时，显著获得了更高的平均奖励。
• 当真实学习者数量最多为200名时，基于合成轨迹训练的虚拟DQN（virtual DQN）优于仅使用真实数据训练的实际DQN（actual DQN），表现出更优的样本效率。
• 当真实学习者数量超过200名时，虚拟DQN和实际DQN策略的性能均收敛至相似的最优水平。
• 基于DQN的策略始终优于启发式和随机策略，显著减少了达到目标熟练水平所需的学习步数。
• 过渡模型估计器有效捕捉了学习者进展的动力学特性，能够生成高质量的合成轨迹，从而增强DQN训练效果。
• 过渡模型估计器的集成使系统在仅基于少量学习者数据训练后，即可发现接近最优的学习策略。