[论文解读] How to Discount Deep Reinforcement Learning: Towards New Dynamic Strategies

Vincent François-Lavet, Raphaël Fonteneau+1 more|arXiv (Cornell University)|Dec 7, 2015

Reinforcement Learning in Robotics参考文献 18被引用 80

一句话总结

本文提出在深度Q网络（DQN）训练过程中动态增加折扣因子γ并自适应调整学习率，显著减少了学习步数，并提升了Atari 2600游戏上的性能表现。该方法通过初始阶段优先考虑短期奖励，逐步强调长期回报，增强了训练的稳定性和收敛性，优于使用固定超参数的标准DQN。

ABSTRACT

Using deep neural nets as function approximator for reinforcement learning tasks have recently been shown to be very powerful for solving problems approaching real-world complexity. Using these results as a benchmark, we discuss the role that the discount factor may play in the quality of the learning process of a deep Q-network (DQN). When the discount factor progressively increases up to its final value, we empirically show that it is possible to significantly reduce the number of learning steps. When used in conjunction with a varying learning rate, we empirically show that it outperforms original DQN on several experiments. We relate this phenomenon with the instabilities of neural networks when they are used in an approximate Dynamic Programming setting. We also describe the possibility to fall within a local optimum during the learning process, thus connecting our discussion with the exploration/exploitation dilemma.

研究动机与目标

• 研究折扣因子γ的动态调整如何影响深度强化学习中的学习稳定性与收敛性。
• 通过在训练过程中调整γ，解决近似动态规划中深度神经网络的不稳定性问题。
• 减少DQN在Atari 2600游戏上收敛所需的训练步数。
• 探索γ、学习率与探索策略之间的相互作用，以克服局部最优解。
• 提出一种深度Q学习中自适应超参数调度的框架。

提出的方法

• 引入一个随训练步数逐渐增加的动态折扣因子γ，从较低的初始值逐步提升至最终值（例如0.99）。
• 采用递减的学习率（α），初始值较高（例如0.005），并按每轮训练减少2%以在γ增加时稳定学习过程。
• 在改进的DQN算法中应用经验回放与目标网络更新，以维持训练稳定性。
• 实现一种学习规则，使γ按预设调度表增加，例如γ_k = γ_min + (γ_max - γ_min) * (k / K)，其中k为训练步数。
• 通过ε-greedy动作选择实现探索适应，当智能体陷入局部最优时，设定规则提高ε值。
• 提出一种统一的演员-评论家风格框架，联合调度训练过程中的γ、α和ε。

实验结果

研究问题

• RQ1 逐步增加折扣因子γ是否能提升深度Q网络的收敛速度与最终性能？
• RQ2 γ的动态调整如何与函数逼近中神经网络的不稳定性相互作用？
• RQ3 将动态γ与递减学习率结合，是否能提升样本效率并减少Q值函数学习中的过估计？
• RQ4 动态γ在多大程度上通过改善探索帮助智能体逃离局部最优？
• RQ5 对γ、α和ε进行自适应调度，能否带来更鲁棒且高效的深度强化学习算法？

主要发现

• 使用动态递增的折扣因子，相较于固定γ = 0.99，显著减少了Atari 2600游戏收敛所需的训练步数。
• 在所有六款测试游戏中，增加γ与递减学习率的组合均优于原始DQN，且在5000万步后取得更高的最终得分。
• 较低的初始γ减少了Q值的过估计，表现为训练过程中价值函数V的持续下降。
• 该动态方法通过降低早期训练中γ值较低时的错误影响，缓解了深度Q学习中的不稳定性。
• 采用固定ε-greedy探索的智能体有时会陷入局部最优，而自适应探索规则可实现有效逃离并提升性能。
• 所提出的框架表明，联合调度γ、α和ε可实现更稳定高效的训练，为自动化超参数适应提供了可行路径。