[论文解读] Understanding Multi-Step Deep Reinforcement Learning: A Systematic Study of the DQN Target

J. Fernando Hernandez-Garcia, Richard S. Sutton|arXiv (Cornell University)|Jan 22, 2019

Reinforcement Learning in Robotics参考文献 4被引用 41

一句话总结

本文在 Mountain Car 环境中，系统比较了多步强化学习目标（Retrace、Q-learning、Tree Backup、Sarsa、Q(sigma)）在类似 DQN 架构下的性能，聚焦于脱轨修正、回溯长度 n 以及目标网络更新频率。

ABSTRACT

Multi-step methods such as Retrace($λ$) and $n$-step $Q$-learning have become a crucial component of modern deep reinforcement learning agents. These methods are often evaluated as a part of bigger architectures and their evaluations rarely include enough samples to draw statistically significant conclusions about their performance. This type of methodology makes it difficult to understand how particular algorithmic details of multi-step methods influence learning. In this paper we combine the $n$-step action-value algorithms Retrace, $Q$-learning, Tree Backup, Sarsa, and $Q(σ)$ with an architecture analogous to DQN. We test the performance of all these algorithms in the mountain car environment; this choice of environment allows for faster training times and larger sample sizes. We present statistical analyses on the effects of the off-policy correction, the backup length parameter $n$, and the update frequency of the target network on the performance of these algorithms. Our results show that (1) using off-policy correction can have an adverse effect on the performance of Sarsa and $Q(σ)$; (2) increasing the backup length $n$ consistently improved performance across all the different algorithms; and (3) the performance of Sarsa and $Q$-learning was more robust to the effect of the target network update frequency than the performance of Tree Backup, $Q(σ)$, and Retrace in this particular task.

研究动机与目标

• 评估在多个 n 步目标（Retrace、Q-learning、Tree Backup、Sarsa、Q(sigma)）中，离基修正如何影响学习。
• 评估回溯长度参数 n 对各算法学习表现的影响。
• 在统一的 DQN 风格架构下，比较不同 n 步目标的性能和鲁棒性。
• 分析目标网络更新频率对高度自举方法学习的影响。
• 提供洞见以指导深度代理中多步 RL 组件的设计选择。

提出的方法

• 在一个类似 DQN 的神经结构中实现 Retrace、Q-learning、Tree Backup、Sarsa 与 Q(sigma) 的 n 步目标。
• 使用基于带有目标网络的 n 步回报 G_{t:t+n} 的损失，如 l(theta_t) = (G_hat_{t:t+n}(theta^-_t) - q(S_t,A_t; theta_t))^2。
• 在经验回放中适应处理重要性抽样比和 sigma 参数（如适用）。
• 在 mountain car 环境中使用固定的网络架构、RMSprop 优化器和标准 DQN 超参数进行评估（学习率 0.00025，回放容量 20,000，批量 32）。
• 进行实验，改变离策略修正、n 在 {1,3,5,10,20}，以及目标网络更新频率（如 500、1000、2000）。

实验结果

研究问题

• RQ1 在 Sarsa、Q(sigma)、Retrace、Tree Backup、Q-learning 中应用离策略修正如何影响最终和初始学习性能？
• RQ2 这些多步目标中回溯长度 n 对偏差/方差及整体学习性能的影响是？
• RQ3 更新目标网络的频率如何影响严重依赖自举的算法？
• RQ4 在此设置下，Sarsa 和 Q-learning 对离策略修正与目标网络动态是否具有鲁棒性？

主要发现

• 离策略修正若被天真使用，可能削弱最终/整体性能，尽管可能改善初始性能。
• 通常增加回溯长度 n 可提升各算法的性能，较大的 n 在初始性能上有显著提升。
• 更依赖自举的算法（Tree Backup、Retrace、Q(sigma)）比 Sarsa 和 Q-learning 对目标网络更新频率更敏感。
• 关于使用或不使用离策略修正的决定可能因问题而异，利用早期离策略收益的混合策略可能有帮助。
• 统一、受控的研究证实，目标定义在偏差、方差、收敛速度和价值估计稳定性方面具有深远影响。