[论文解读] Distillation Strategies for Proximal Policy Optimization

Sam Green, Craig M. Vineyard+1 more|arXiv (Cornell University)|Jan 23, 2019

Reinforcement Learning in Robotics参考文献 13被引用 4

一句话总结

本文提出了用于近端策略优化（PPO）的蒸馏策略，通过使用离线轨迹从高容量教师智能体向低容量学生智能体迁移知识。该方法使蒸馏后的学生智能体在直接训练的低容量智能体之上表现更优，并在微调后达到与教师智能体相当的性能，表明蒸馏显著提升了演员-评论家强化学习中的样本效率和性能。

ABSTRACT

Vision-based deep reinforcement learning (RL) typically obtains performance benefit by using high capacity and relatively large convolutional neural networks (CNN). However, a large network leads to higher inference costs (power, latency, silicon area, MAC count). Many inference optimizations have been developed for CNNs. Some optimization techniques offer theoretical efficiency, such as sparsity, but designing actual hardware to support them is difficult. On the other hand, distillation is a simple general-purpose optimization technique which is broadly applicable for transferring knowledge from a trained, high capacity teacher network to an untrained, low capacity student network. DQN distillation extended the original distillation idea to transfer information stored in a high performance, high capacity teacher Q-function trained via the Deep Q-Learning (DQN) algorithm. Our work adapts the DQN distillation work to the actor-critic Proximal Policy Optimization algorithm. PPO is simple to implement and has much higher performance than the seminal DQN algorithm. We show that a distilled PPO student can attain far higher performance compared to a DQN teacher. We also show that a low capacity distilled student is generally able to outperform a low capacity agent that directly trains in the environment. Finally, we show that distillation, followed by "fine-tuning" in the environment, enables the distilled PPO student to achieve parity with teacher performance. In general, the lessons learned in this work should transfer to other modern actor-critic RL algorithms.

研究动机与目标

• 将知识蒸馏从DQN适配到更先进的PPO演员-评论家算法。
• 通过利用预训练教师生成的高质量轨迹，实现低容量学生智能体的高效训练。
• 探究蒸馏后的学生是否能超越相同容量的直接训练智能体。
• 评估蒸馏轮次和微调对学生成 performance 的影响。
• 证明蒸馏在深度强化学习中用于硬件感知策略联合设计的可行性。

提出的方法

• 在一个环境中训练一个高容量PPO智能体（教师），然后利用其收集状态观测和动作概率，并存入回放缓冲区。
• 回放缓冲区存储状态-动作对及教师提供的动作概率，形成高质量的离线数据集。
• 使用蒸馏损失训练低容量学生网络，其中学生匹配教师的动作概率，而不仅仅是最优动作。
• 使用离线回放缓冲区，通过多轮次蒸馏优化学生策略。
• 蒸馏完成后，使用标准PPO更新在环境中对学⽣进行进一步微调以提升性能。
• 在多个Atari环境中评估该方法，比较蒸馏学生与直接训练智能体及教师的表现。

实验结果

研究问题

• RQ1 从高容量PPO教师中进行知识蒸馏是否能提升低容量学生智能体的性能？
• RQ2 蒸馏是否能使学生超越相同容量的直接训练智能体？
• RQ3 蒸馏轮次的数量如何影响学生的最终性能？
• RQ4 在环境中对蒸馏后的学生进行微调是否能进一步提升性能？
• RQ5 蒸馏能否作为一种在硬件约束下实现高效策略联合设计的实用方法？

主要发现

• 蒸馏学生始终优于相同容量的直接训练智能体，证明了知识迁移的有效性。
• 在中等容量与中等容量、低容量与低容量的对比中，蒸馏学生达到了或超过了直接训练智能体的性能。
• 在Pong和Freeway等环境中，10轮蒸馏已足够使学生匹配教师性能；而在Breakout和Ms. Pac-Man等环境中则需要数百轮蒸馏。
• 对蒸馏学生进行2000万时间步的微调后，其性能达到与教师相当，尤其在中等容量模型中表现显著。
• 蒸馏曲线中观察到的性能平台表明，早停可能并非必要，尽管这仍需进一步研究。
• 结果表明，蒸馏是一种稳健的方法，可在保持或提升演员-评论家强化学习策略性能的同时显著降低推理成本。