[论文解读] Investigating Recurrence and Eligibility Traces in Deep Q-Networks

Jean Harb, Doina Precup|arXiv (Cornell University)|Apr 18, 2017

Reinforcement Learning in Robotics参考文献 13被引用 6

一句话总结

本文研究了在Atari环境中，深度Q网络（DQN）中结合eligibility traces与循环神经网络（RNNs）在强化学习中的应用。结果表明，将RNN与eligibility traces结合能显著提升学习稳定性和样本效率，尤其在稀疏奖励和部分可观测的游戏（如Pong和Tennis）中表现突出，其中Adam优化器可加速收敛并优于RMSprop。

ABSTRACT

Eligibility traces in reinforcement learning are used as a bias-variance trade-off and can often speed up training time by propagating knowledge back over time-steps in a single update. We investigate the use of eligibility traces in combination with recurrent networks in the Atari domain. We illustrate the benefits of both recurrent nets and eligibility traces in some Atari games, and highlight also the importance of the optimization used in the training.

研究动机与目标

• 研究eligibility traces与递归网络结合在深度强化学习中的有效性。
• 评估RMSprop和Adam等优化算法对基于RNN的DQN学习性能的影响。
• 解决部分可观测和稀疏奖励环境（如Atari游戏）中的挑战。
• 确定eligibility traces是否能稳定递归DQN架构的训练并加速收敛。
• 比较在多个Atari游戏中，基于RNN的智能体在有无eligibility traces情况下的性能表现。

提出的方法

• 使用循环神经网络（RNNs）为过去观测提供记忆和上下文，从而在部分可观测环境中实现更优的信用分配。
• 应用eligibility traces（λ=0.8）将时序差分误差在多个时间步中传播，改善时间上的信用分配。
• 采用Q(λ)学习，一种结合n步回报与λ指数加权的自举算法，以平衡偏差与方差。
• 使用经验回放和随机梯度下降，分别采用RMSprop和Adam优化器进行训练。
• 从理论角度采用eligibility traces的前向视图，但实际实现中使用后向视图。
• 在Atari 2600游戏上评估性能，特别关注Pong和Tennis，测量测试得分与收敛速度。

实验结果

研究问题

• RQ1 在DQN中结合eligibility traces与递归网络时，其对学习性能有何影响？
• RQ2 不同优化算法（RMSprop与Adam）对基于RNN的DQN训练稳定性与收敛速度有何影响？
• RQ3 基于RNN的模型结合eligibility traces是否能克服标准DQN在稀疏奖励环境（如Tennis和Pong）中的局限性？
• RQ4 为何DQN智能体在Tennis中无法学习到最优策略？RNN结合eligibility traces如何解决此问题？
• RQ5 学习率与优化器的选择如何影响eligibility traces在递归DQN模型中的有效性？

主要发现

• 使用Adam训练时，结合eligibility traces的RNN在13个训练周期内即达到Tennis的近最优得分，优于标准DQN和无trace的RNN模型。
• 使用RMSprop和0.00025的学习率时，无trace的RNN在45个周期内达到20分，而带trace的模型耗时62个周期，表明该优化器下收敛更慢。
• 当使用0.001的更高学习率与RMSprop时，带trace的RNN在27个周期内达到20分，而无trace的模型则未能突破0分阈值。
• Adam优化器使带trace的RNN在仅13个周期内即实现最优性能，展现出显著的加速效果。
• 无eligibility traces的模型表现出不稳定性，学习到获胜策略后偶尔会倒退至次优的‘延迟’策略，而带trace的模型则保持稳定。
• 标准DQN在Tennis中无法突破0分，陷入一种仅来回击球而不得分的循环，原因在于奖励延迟且稀疏。