[论文解读] Collaborative Deep Reinforcement Learning

Kaixiang Lin, Shu Wang+1 more|arXiv (Cornell University)|Feb 19, 2017

Reinforcement Learning in Robotics参考文献 30被引用 18

一句话总结

本文提出了一种协作式深度强化学习（CDRL）框架，通过深度知识蒸馏和一种新型深度对齐网络，实现在异构深度强化学习智能体之间自适应的知识迁移。该方法通过将Pong专家的策略知识迁移至Bowling智能体，提升了样本效率和性能，在OpenAI Gym环境中相比A3C实现了11.2%的奖励提升。

ABSTRACT

Besides independent learning, human learning process is highly improved by summarizing what has been learned, communicating it with peers, and subsequently fusing knowledge from different sources to assist the current learning goal. This collaborative learning procedure ensures that the knowledge is shared, continuously refined, and concluded from different perspectives to construct a more profound understanding. The idea of knowledge transfer has led to many advances in machine learning and data mining, but significant challenges remain, especially when it comes to reinforcement learning, heterogeneous model structures, and different learning tasks. Motivated by human collaborative learning, in this paper we propose a collaborative deep reinforcement learning (CDRL) framework that performs adaptive knowledge transfer among heterogeneous learning agents. Specifically, the proposed CDRL conducts a novel deep knowledge distillation method to address the heterogeneity among different learning tasks with a deep alignment network. Furthermore, we present an efficient collaborative Asynchronous Advantage Actor-Critic (cA3C) algorithm to incorporate deep knowledge distillation into the online training of agents, and demonstrate the effectiveness of the CDRL framework using extensive empirical evaluation on OpenAI gym.

研究动机与目标

• 解决当智能体具有异构模型结构和不同学习任务时，深度强化学习中知识迁移的挑战。
• 克服传统模型迁移方法因需要共享架构而带来的局限性，实现知识迁移中的结构灵活性。
• 开发一种在线协作训练框架，使智能体能够实时相互学习，提升样本效率和收敛速度。
• 通过深度对齐网络弥合分布差距，证明在不同环境（如Pong和Bowling）中知识蒸馏的有效性。
• 通过协作式在线训练结合蒸馏，实现优于最先进方法（如A3C）的性能表现。

提出的方法

• 提出一种深度知识蒸馏方法，将教师智能体（如Pong专家）的策略知识迁移至具有不同网络架构的学生智能体（如Bowling智能体）。
• 引入一个包含四层全连接ReLU层的深度对齐网络，用于对齐不同任务（如Pong和Bowling）的logits，减少异构智能体之间的分布偏移。
• 设计一种高效的协作式异步优势演员-critic（cA3C）算法，在训练过程中集成在线知识蒸馏，实现实时协作。
• 以分阶段在线方式训练深度对齐网络并执行知识蒸馏，确保稳定策略学习后才启动，即在训练达到一定步数后开始。
• 使用广义优势估计（GAE）进行信用分配，并将其与教师网络对齐logits的蒸馏损失相结合。
• 进行离线和在线消融实验，验证对齐网络和蒸馏策略在不同训练调度下的有效性。

实验结果

研究问题

• RQ1 尽管存在模型架构和任务动态的差异，是否仍能有效实现异构深度强化学习智能体之间的知识迁移？
• RQ2 深度对齐网络如何提升从源任务（Pong）到目标任务（Bowling）的策略知识可迁移性，尤其是在动作空间和奖励结构不同的情况下？
• RQ3 与独立训练或标准A3C相比，在线协作训练结合知识蒸馏是否能带来更快的收敛速度和更高的性能表现？
• RQ4 在在线协作设置中，对齐网络和知识蒸馏的最佳启动时机是什么？
• RQ5 所提出的CDRL框架在复杂控制任务中是否能在最终性能和样本效率方面超越最先进方法（如A3C）？

主要发现

• CDRL框架在Bowling环境中相比A3C实现了11.2%的奖励提升，最终平均奖励为68.35 ± 1.32，而A3C为61.48 ± 1.48。
• 深度知识蒸馏显著提升了样本效率，使Bowling智能体能够更快学习并达到高于从零开始训练的性能。
• 深度对齐网络有效减小了Pong与Bowling策略之间的分布差距，表现为对齐后的Pong logits与Bowling策略分布高度匹配。
• 对齐网络和蒸馏的在线训练策略无需等待学生智能体达到高性能后才启动，展现出强鲁棒性和适应性。
• cA3C算法实现了来自持续更新的Pong智能体的持续知识迁移，即使在教师策略动态变化的情况下，仍能保持高性能增益。
• 实验结果表明，离线和在线蒸馏策略均优于基线A3C，其中协作式在线设置表现最佳。