[论文解读] DAQN: Deep Auto-encoder and Q-Network

Daiki Kimura|arXiv (Cornell University)|Jun 2, 2018

Reinforcement Learning in Robotics参考文献 31被引用 14

一句话总结

本文提出 DAQN，一种使用卷积自编码器对深度 Q-network 进行预训练的深度强化学习方法，以减少在复杂环境中的训练试次次数。通过使用从无标签视觉数据中学习到的特征来初始化 Q-network，DAQN 在真实世界机器人任务中实现了 2.5 倍的训练加速，且在噪声大、复杂度高的图像输入条件下表现更优，相较于标准 DQN。

ABSTRACT

The deep reinforcement learning method usually requires a large number of training images and executing actions to obtain sufficient results. When it is extended a real-task in the real environment with an actual robot, the method will be required more training images due to complexities or noises of the input images, and executing a lot of actions on the real robot also becomes a serious problem. Therefore, we propose an extended deep reinforcement learning method that is applied a generative model to initialize the network for reducing the number of training trials. In this paper, we used a deep q-network method as the deep reinforcement learning method and a deep auto-encoder as the generative model. We conducted experiments on three different tasks: a cart-pole game, an atari game, and a real-game with an actual robot. The proposed method trained efficiently on all tasks than the previous method, especially 2.5 times faster on a task with real environment images.

研究动机与目标

• 减少在具有高复杂度视觉输入的真实世界机器人环境中进行深度强化学习所需的训练试次次数。
• 解决真实机器人训练中样本和交互成本高的挑战，其中每次动作都可能造成损坏，且奖励需要人工干预。
• 探究使用生成模型（自编码器）进行预训练是否能提升深度 Q-network 的样本效率。
• 在包括模拟游戏和真实机器人任务在内的多样化环境中，验证预训练的有效性。
• 阐明在何种条件下，自编码器预训练能提升深度强化学习性能，特别是在噪声大或视觉复杂的环境中。

提出的方法

• 首先，在通过随机策略或环境观测收集的无标签视觉输入上训练一个卷积自编码器，无需动作或奖励信息。
• 使用训练好的编码器来初始化深度 Q-network 的特征提取层，替代标准的随机初始化。
• 移除自编码器的解码器组件，并在顶部添加一个新的全连接层，用于 DQN 框架中的离散动作输出。
• 使用标准的经验回放和目标网络技术，对初始化后的 DQN 进行微调，以学习最优策略。
• 利用自编码器学习到的表征，从复杂图像中捕捉空间和结构特征，提升泛化能力和收敛速度。
• 确保超参数在预训练和强化学习阶段均经过调优，避免先前研究中出现的次优性能问题。

实验结果

研究问题

• RQ1 使用生成式自编码器对深度 Q-network 进行预训练，是否能显著减少深度强化学习中所需的训练回合数？
• RQ2 在高复杂度视觉环境中（如具有噪声或变量输入的真实世界机器人任务），自编码器预训练是否能提供更大优势？
• RQ3 在模拟环境和真实世界环境中，DAQN 与标准 DQN 在样本效率方面的表现如何比较？
• RQ4 预训练数据的质量和多样性在预训练阶段的成功中起到何种作用？
• RQ5 为何先前在 DQN 中尝试自编码器预训练的尝试失败？DAQN 如何克服这些局限性？

主要发现

• 在真实世界石头剪刀布机器人任务中，DAQN 的训练收敛速度比标准 DQN 快 2.5 倍，显著提升了样本效率。
• 该方法在视觉复杂度高的环境中（如带有背景噪声和变化的现实世界机器人视觉输入）显著减少了所需训练试次。
• 在无标签数据上使用卷积自编码器进行预训练（无需动作或奖励）提供了强有力的归纳偏置，从而加速了策略学习。
• 该方法优于仅复制预训练自编码器第一层的先前方法，表明完整网络迁移更具有效性。
• 该方法在三个不同环境中均表现有效：一个模拟的倒立摆任务、一个 Atari 游戏和一个真实机器人游戏，证实了其广泛适用性。
• 预训练的成功取决于使用完整的自编码器网络和适当的超参数调优，这解决了早期研究中的局限性。