[论文解读] A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning

Yang Long, Minhao Shi+3 more|arXiv (Cornell University)|Feb 9, 2018

Reinforcement Learning in Robotics参考文献 12被引用 5

一句话总结

本文提出 Q(σ,λ)，一种统一算法，结合了多步时序差分学习与eligibility traces，实现了完全采样（σ=1，Sarsa(λ)）与纯期望（σ=0，Qπ(λ)）方法之间的连续权衡。该方法在最优值函数上的收敛速度优于极端σ值，具有理论收敛保证，并通过实证验证表明，使用中间σ值时性能更优。

ABSTRACT

Recently, a new multi-step temporal learning algorithm, called $Q(σ)$, unifies $n$-step Tree-Backup (when $σ=0$) and $n$-step Sarsa (when $σ=1$) by introducing a sampling parameter $σ$. However, similar to other multi-step temporal-difference learning algorithms, $Q(σ)$ needs much memory consumption and computation time. Eligibility trace is an important mechanism to transform the off-line updates into efficient on-line ones which consume less memory and computation time. In this paper, we further develop the original $Q(σ)$, combine it with eligibility traces and propose a new algorithm, called $Q(σ,λ)$, in which $λ$ is trace-decay parameter. This idea unifies Sarsa$(λ)$ (when $σ=1$) and $Q^π(λ)$ (when $σ=0$). Furthermore, we give an upper error bound of $Q(σ,λ)$ policy evaluation algorithm. We prove that $Q(σ,λ)$ control algorithm can converge to the optimal value function exponentially. We also empirically compare it with conventional temporal-difference learning methods. Results show that, with an intermediate value of $σ$, $Q(σ,λ)$ creates a mixture of the existing algorithms that can learn the optimal value significantly faster than the extreme end ($σ=0$, or $1$).

研究动机与目标

• 将 Sarsa(λ) 与 Qπ(λ) 统一到一个框架中，使用连续采样参数 σ。
• 通过整合 eligibility traces，降低多步 TD 学习的内存与计算成本。
• 为策略评估在新算法下的理论收敛性与误差界提供理论依据。
• 通过实证验证，中间 σ 值在学习速度与最终性能上优于 σ=0 或 σ=1。

提出的方法

• 引入一种混合采样算子，统一多步 TD 学习中完全采样（σ=1）与纯期望（σ=0）方法。
• 提出 Q(σ,λ)，一种新算法，通过引入衰减参数 λ 的 eligibility traces 扩展 Q(σ)。
• 利用 eligibility traces 实现高效的在线更新，相比离线多步方法显著降低内存与计算开销。
• 在温和假设下，推导出 Q(σ,λ) 策略评估变体的上界误差。
• 证明在标准学习条件下，Q(σ,λ) 控制版本的指数收敛性可达到最优值函数 q*。
• 在连续状态空间中使用 tile coding 进行函数逼近，并在实验中采用移动平均平滑性能曲线。

实验结果

研究问题

• RQ1 能否有效结合 eligibility traces 与 Q(σ) 框架，在保持性能的同时降低计算成本？
• RQ2 统一的 Q(σ,λ) 算法是否在学习速度与最终性能上优于极端 σ 值（σ=0 或 σ=1）？
• RQ3 Q(σ,λ) 框架下策略评估的理论误差界是什么？
• RQ4 在标准学习条件下，Q(σ,λ) 控制算法能否收敛到最优值函数 q*？

主要发现

• 在 mountain car 控制任务中，使用中间 σ 值（如 σ=0.5）的 Q(σ,λ) 显著快于 σ=0 与 σ=1。
• 50 个回合后，Q(σ=0.5,λ) 的平均回报为 -195.99，优于 Qπ(λ) 的 -193.56 与 Sarsa(λ) 的 -196.84。
• 200 个回合后，Q(σ=0.5,λ) 的平均回报达到 -143.71，优于 Qπ(λ) 的 -144.04 与 Sarsa(λ) 的 -145.72。
• 动态 σ 变体（σ 从 0 到 1 变化）在 200 个回合后达到最佳最终性能，平均回报为 -142.62。
• 推导并实证验证了 Q(σ,λ) 策略评估的上界误差，显示随着 σ 从 1 降低至 0，误差减小。
• 理论分析证明，在标准学习条件下，Q(σ,λ) 的在线与离线控制算法均以概率 1 收敛至最优值函数 q*。