[论文解读] Jointly Pre-training with Supervised, Autoencoder, and Value Losses for Deep Reinforcement Learning.

Gabriel Cruz, Yunshu Du+1 more|arXiv (Cornell University)|Apr 3, 2019

Reinforcement Learning in Robotics参考文献 34被引用 5

一句话总结

本文提出了一种轻量级的联合预训练方法，用于深度强化学习，通过结合监督分类、自编码器重建和预期回报损失，以提升特征学习效果。通过在极少量人类示范数据上预训练A3C智能体，该方法在Pong和MsPacman等Atari游戏中实现了SOTA性能，且与先前方法相比，环境交互次数显著减少。

ABSTRACT

Deep Reinforcement Learning (DRL) algorithms are known to be data inefficient. One reason is that a DRL agent learns both the feature and the policy tabula rasa. Integrating prior knowledge into DRL algorithms is one way to improve learning efficiency since it helps to build helpful representations. In this work, we consider incorporating human knowledge to accelerate the asynchronous advantage actor-critic (A3C) algorithm by pre-training a small amount of non-expert human demonstrations. We leverage the supervised autoencoder framework and propose a novel pre-training strategy that jointly trains a weighted supervised classification loss, an unsupervised reconstruction loss, and an expected return loss. The resulting pre-trained model learns more useful features compared to independently training in supervised or unsupervised fashion. Our pre-training method drastically improved the learning performance of the A3C agent in Atari games of Pong and MsPacman, exceeding the performance of the state-of-the-art algorithms at a much smaller number of game interactions. Our method is light-weight and easy to implement in a single machine. For reproducibility, our code is available at this http URL

研究动机与目标

• 通过预训练整合先验知识，提升深度强化学习中的数据效率。
• 利用有限的非专家人类示范，加速异步优势演员-critic（A3C）智能体的学习。
• 开发一种轻量级、可在单台机器上实现的预训练框架，以增强特征表示学习。
• 在保持Atari环境中强性能的同时，超越现有方法的样本效率。

提出的方法

• 该方法联合优化三种损失组件：用于策略引导的监督分类损失、用于特征学习的无监督重建损失，以及用于价值估计的预期回报损失。
• 预训练应用于共享的神经网络架构，之后通过标准A3C强化学习进行微调。
• 使用三种损失的加权组合进行端到端训练，以平衡策略、表征和价值学习。
• 人类示范作为监督信号，而自编码器组件则通过重建观测来学习不变特征。
• 预期回报损失从轨迹中计算得出，以引导策略网络向高回报行为发展。
• 最终的预训练策略通过与环境交互的标准A3C更新进行微调。

实验结果

研究问题

• RQ1 联合预训练结合多种损失类型是否能提升DRL中的特征表征能力和样本效率？
• RQ2 将监督、自编码器和价值损失联合使用，与单独预训练相比有何差异？
• RQ3 极少量非专家人类示范在多大程度上能加速Atari游戏中A3C智能体的学习？
• RQ4 所提方法是否在更少的环境交互次数下实现了优于SOTA基线的性能？

主要发现

• 与标准A3C及基线预训练方法相比，该联合预训练方法在Atari游戏Pong和MsPacman上显著提升了学习性能。
• 该方法在显著减少游戏交互次数的前提下，超越了SOTA算法的性能表现。
• 预训练模型学习到的特征比仅使用监督或无监督目标训练的模型更具实用性。
• 该方法计算开销极低，且可在单台机器上轻松实现。
• 三种损失——监督、重建和预期回报——的联合集成，相比任何单一损失的预训练，均展现出更优的泛化能力。