[论文解读] Dual Policy Distillation

Kwei-Herng Lai, Daochen Zha+2 more|arXiv (Cornell University)|Jun 7, 2020

Reinforcement Learning in Robotics参考文献 29被引用 10

一句话总结

本文提出双策略蒸馏（Dual Policy Distillation, DPD），一种学生-学生强化学习框架，其中两个智能体在相同环境中同时训练，通过相互蒸馏知识来提升性能，而无需依赖预训练的教师模型。该方法采用不利蒸馏策略，优先从‘不利状态’中性能较差的动作中学习，从而在函数逼近下实现理论上的策略改进，并在连续控制任务中取得经验性提升。

ABSTRACT

Policy distillation, which transfers a teacher policy to a student policy has achieved great success in challenging tasks of deep reinforcement learning. This teacher-student framework requires a well-trained teacher model which is computationally expensive. Moreover, the performance of the student model could be limited by the teacher model if the teacher model is not optimal. In the light of collaborative learning, we study the feasibility of involving joint intellectual efforts from diverse perspectives of student models. In this work, we introduce dual policy distillation(DPD), a student-student framework in which two learners operate on the same environment to explore different perspectives of the environment and extract knowledge from each other to enhance their learning. The key challenge in developing this dual learning framework is to identify the beneficial knowledge from the peer learner for contemporary learning-based reinforcement learning algorithms, since it is unclear whether the knowledge distilled from an imperfect and noisy peer learner would be helpful. To address the challenge, we theoretically justify that distilling knowledge from a peer learner will lead to policy improvement and propose a disadvantageous distillation strategy based on the theoretical results. The conducted experiments on several continuous control tasks show that the proposed framework achieves superior performance with a learning-based agent and function approximation without the use of expensive teacher models.

研究动机与目标

• 解决深度强化学习中教师-学生蒸馏带来的高计算成本与性能局限性问题。
• 探究不完美的同伴策略是否能在学生-学生框架中为相互学习提供有益知识。
• 开发一种理论基础扎实、实用性强的蒸馏策略，仅通过学生智能体即可提升策略性能。
• 在不依赖专家演示或昂贵教师模型的前提下，实现连续控制任务中更快、更样本高效的训练。

提出的方法

• 两个学生策略在相同环境中并行训练，采用不同的随机初始化。
• 每个策略在优化自身强化学习目标的同时，也最小化一种蒸馏损失，以促使自身动作与同伴策略的动作保持一致。
• 提出一种不利蒸馏策略，优先在同伴策略表现较差的状态（即‘不利状态’）进行蒸馏。
• 蒸馏目标被设计为通过学习同伴在高损失区域的次优行为，推动每个策略趋向最优策略。
• 理论分析表明，在理想条件下，从由两个智能体构成的假设混合策略中蒸馏，可保证策略性能的提升。
• 该框架基于DDPG作为基础强化学习算法实现，并在具有函数逼近的连续控制基准上进行了验证。

实验结果

研究问题

• RQ1 两个不完美的学生策略是否能在无教师模型的情况下，通过知识蒸馏实现相互改进？
• RQ2 即使同伴策略表现次优，从其噪声较大的策略中蒸馏是否仍能带来策略性能的提升？
• RQ3 一种聚焦于‘不利状态’的不利蒸馏策略是否能提升学习效率与最终性能？
• RQ4 在样本效率与最终性能方面，该双蒸馏框架相较于标准DDPG和教师-学生蒸馏有何差异？

主要发现

• 所提出的DPD框架在连续控制任务中显著提升了学习速度与最终性能，且未使用任何教师模型，优于标准DDPG。
• 在所有训练阶段，DPD智能体的Q值均比DDPG更快上升并达到更高值，表明价值估计能力得到改善。
• 两个DPD智能体动作之间的平均欧氏距离从早期训练的0.43下降至后期的0.31，表明策略趋于收敛与对齐。
• 实证结果证实，两个DPD智能体探索了环境的不同方面，表现出互补行为，支持了有益知识迁移的假设。
• 不利蒸馏策略有效优先从高损失区域的次优动作中学习，从而实现持续的策略性能提升。
• 理论分析证明，在理想条件下，从由两个智能体构成的假设混合策略中蒸馏，可保证策略性能的提升。