[论文解读] ZPD Teaching Strategies for Deep Reinforcement Learning from Demonstrations

Daniel Seita, David M. Chan+4 more|arXiv (Cornell University)|Oct 26, 2019

Reinforcement Learning in Robotics参考文献 32被引用 8

一句话总结

本文提出了一种基于最近发展区（ZPD）的教学策略，用于深度强化学习中的模仿学习，通过动态选择多个专家演示者之一来提升样本效率。与选择表现最佳的教师不同，该方法选择能力略高于学习者当前水平的教师，从而在九款Atari游戏中实现了更优的样本效率和最终性能，表明最优教学并不总是依赖于最优秀的专家。

ABSTRACT

Learning from demonstrations is a popular tool for accelerating and reducing the exploration requirements of reinforcement learning. When providing expert demonstrations to human students, we know that the demonstrations must fall within a particular range of difficulties called the "Zone of Proximal Development (ZPD)". If they are too easy the student learns nothing, but if they are too difficult the student is unable to follow along. This raises the question: Given a set of potential demonstrators, which among them is best suited for teaching any particular learner? Prior work, such as the popular Deep Q-learning from Demonstrations (DQfD) algorithm has generally focused on single demonstrators. In this work we consider the problem of choosing among multiple demonstrators of varying skill levels. Our results align with intuition from human learners: it is not always the best policy to draw demonstrations from the best performing demonstrator (in terms of reward). We show that careful selection of teaching strategies can result in sample efficiency gains in the learner's environment across nine Atari games

研究动机与目标

• 研究如何在深度强化学习中从多个专家演示者中进行最优选择，而非依赖单一表现优异的教师。
• 将心理学中的最近发展区（ZPD）概念应用于深度强化学习，确保教学示例具有挑战性但可学习。
• 通过基于相对能力水平的动态教师选择，提升离策略深度Q学习的样本效率与最终性能。
• 评估使用略逊色的教师是否能带来优于使用表现最佳专家的学习效果。

提出的方法

• 该方法使用一个动态教师选择函数 $ f_{\rm select} $，根据其相对于学习者的相对表现，从一组预训练的专家智能体中选择教师。
• 在每个训练步骤中，学习者选择一位表现略高于其当前平均回合奖励的教师，该教师处于ZPD范围内。
• 学习者将自身的在线策略经验与所选教师的离策略演示经验共同存储于共享的经验回放缓冲区中。
• 通过多种函数评估选择策略：'best ahead'（表现最佳的教师）、'k ahead'（按表现排名前进k名的教师）以及'random ahead'（从ZPD教师中随机选择）。
• 该方法在双DQN（DDQN）框架中实现，并结合经验回放机制，使学习者与教师智能体均可从共享经验中学习。
• 在九款Atari 2600游戏中评估该方法，比较不同教师选择策略下的学习曲线与最终性能表现。

实验结果

研究问题

• RQ1 基于学习者当前技能水平接近程度（ZPD）选择教师，是否能带来比选择表现最佳教师更高的样本效率？
• RQ2 不同教师选择策略（如'best ahead'、'5 ahead'或'random ahead'）在不同Atari游戏中的表现有何差异？
• RQ3 使用稍弱但仍在ZPD范围内的教师，是否能带来比使用更强教师更快的学习速度，尤其是在具有复杂或次优专家行为的环境中？
• RQ4 在ZPD范围内随机选择教师在多大程度上影响学习性能？这种多样性是否带来可测量的优势？
• RQ5 在结合经验回放的离策略深度强化学习中，动态教师选择策略是否能提升最终性能与样本效率？

主要发现

• 'best ahead'策略（选择表现最佳的教师）并未始终取得最佳结果；仅在Pong游戏中，其在最后100个回合的平均表现中位列第一。
• 在Breakout游戏中，'best ahead'与'10 ahead'策略表现最弱，表明高度先进的教师可能为早期学习者提供次优或令人困惑的示范。
• '5 ahead'策略在多个游戏中表现优于其他策略，表明中等程度的性能差距可能更有利于在挑战性与可学习性之间取得平衡。
• 在Space Invaders游戏中，'best ahead'方法始终使用奖励为1007.5的教师，而'5 ahead'方法则使用从600逐步提升至最终快照的教师，体现出动态适应能力。
• 'random ahead'策略表现出更广泛的ZPD教师奖励范围，表明教师选择的多样性可能带来尚未完全理解的优势。
• 总体而言，结果表明仅依赖表现最佳的演示者是次优的，而基于ZPD的教师选择策略在多个Atari环境中显著提升了样本效率。