[论文解读] Deep Quality-Value (DQV) Learning

Matthia Sabatelli, Gilles Louppe+2 more|arXiv (Cornell University)|Sep 30, 2018

Reinforcement Learning in Robotics参考文献 26被引用 6

一句话总结

本文提出了一种新型深度强化学习算法——深度质量-价值（DQV）学习，该算法利用价值网络通过时序差分学习提升动作价值（Q）网络的训练效果。在四个Atari游戏中，DQV相较于DQN和Double DQN表现出更快的学习速度和更高的累积奖励，其中Pong在400集以内被解决，速度超过基线方法两倍以上。

ABSTRACT

We introduce a novel Deep Reinforcement Learning (DRL) algorithm called Deep Quality-Value (DQV) Learning. DQV uses temporal-difference learning to train a Value neural network and uses this network for training a second Quality-value network that learns to estimate state-action values. We first test DQV's update rules with Multilayer Perceptrons as function approximators on two classic RL problems, and then extend DQV with the use of Deep Convolutional Neural Networks, `Experience Replay' and `Target Neural Networks' for tackling four games of the Atari Arcade Learning environment. Our results show that DQV learns significantly faster and better than Deep Q-Learning and Double Deep Q-Learning, suggesting that our algorithm can potentially be a better performing synchronous temporal difference algorithm than what is currently present in DRL.

研究动机与目标

• 开发一种新型深度强化学习算法，通过利用价值网络指导Q网络训练，提升样本效率和学习速度。
• 将表格化QV(λ)算法扩展至深度神经网络，使其适用于复杂、高维的环境。
• 在Atari 2600环境中评估DQV与标准DRL组件（如经验回放和目标网络）结合的有效性。
• 探究是否先训练价值网络可加速Q网络的收敛，基于V函数可能比Q函数收敛更快的直觉。
• 探索DQV作为现有DRL算法（如DQN和Double DQN）的更稳定、更高效替代方案的潜力。

提出的方法

• DQV使用时序差分学习训练价值神经网络以估计状态值V(s)，随后利用该估计值计算Q网络的目标值。
• Q网络通过一种改进的TD更新方式训练，利用估计的V(s)计算目标值，从而降低自举误差并提升学习稳定性。
• 该算法集成经验回放，以打破转移之间的时序相关性，提升数据效率。
• 使用目标神经网络对价值网络进行稳定训练，通过将目标值估计与在线网络更新解耦来实现。
• 在Atari环境中，使用深度卷积神经网络作为状态和动作价值函数的函数逼近器。
• 该方法采用双网络架构：一个主Q网络和一个独立的、缓慢更新的目标网络用于价值函数，以在Q学习更新过程中提供稳定的目标。

实验结果

研究问题

• RQ1 能否利用价值网络提升深度强化学习中Q网络训练的稳定性和速度？
• RQ2 使用预训练或收敛更快的价值函数是否可加速深度RL中Q网络的收敛？
• RQ3 在Atari 2600环境中，DQV与DQN和Double DQN相比，其学习速度和最终性能如何？
• RQ4 集成经验回放和目标网络对DQV的性能和稳定性有何影响？
• RQ5 DQV框架能否有效扩展至具有高维观测值的复杂控制任务？

主要发现

• 在所有四个测试的Atari游戏中，DQV的学习速度均快于DQN和Double DQN，其中Pong在400集以内被解决，速度超过基线方法两倍以上。
• 在Boxing环境中，DQV比DQN和DDQN提前约300个训练周期达到约80的最高累积奖励。
• 在Enduro环境中，DQV在相同训练周期内获得的累积奖励接近DQN和DDQN的两倍。
• 在Ice-Hockey环境中，DQV是唯一在800个训练周期后仍能持续改进策略的算法，而DQN和DDQN未表现出进一步提升。
• 使用价值网络作为Q学习的目标显著提升了样本效率和最终性能，表明V函数估计可加速Q函数学习。
• DQV在稳定性与收敛速度方面表现更优，尤其在稀疏奖励环境中，表明采用目标网络的价值函数双网络架构具有显著有效性。