[论文解读] Investigating practical linear temporal difference learning

Adam White, Martha White|arXiv (Cornell University)|Feb 28, 2016

Adaptive Dynamic Programming Control参考文献 12被引用 16

一句话总结

本文提出并实证评估了混合时序差分（TD）学习算法——GTD(λ)、PTD、HTD 和 TO-HTD——旨在结合 on-policy 环境中 TD 学习的效率与 off-policy 环境中梯度-TD 方法的稳定性。主要发现是，在计算成本受限的情况下，GTD(λ) 和 TO-GTD(λ) 在 off-policy 采样下最为稳健；而 TO-ETD(λ,β) 总体表现最佳，但存在高方差和参数敏感性问题。

ABSTRACT

Off-policy reinforcement learning has many applications including: learning from demonstration, learning multiple goal seeking policies in parallel, and representing predictive knowledge. Recently there has been an proliferation of new policy-evaluation algorithms that fill a longstanding algorithmic void in reinforcement learning: combining robustness to off-policy sampling, function approximation, linear complexity, and temporal difference (TD) updates. This paper contains two main contributions. First, we derive two new hybrid TD policy-evaluation algorithms, which fill a gap in this collection of algorithms. Second, we perform an empirical comparison to elicit which of these new linear TD methods should be preferred in different situations, and make concrete suggestions about practical use.

研究动机与目标

• 为解决在函数逼近下 off-policy 时序差分学习中实现稳定且线性复杂度的值函数近似这一长期挑战。
• 通过引入自适应校正 off-policy 采样更新的混合 TD 算法，弥合 on-policy 效率（如 TD(λ)）与 off-policy 稳定性（如梯度-TD 方法）之间的差距。
• 在多样化环境中，对新旧线性 off-policy TD 方法的性能进行实证比较，包括 Baird 反例等具有挑战性的 off-policy 领域。
• 基于性能、收敛性、方差和计算成本，为实际 off-policy 学习场景中的算法选择提供实用建议。

提出的方法

• 提出 GTD(λ)、PTD、HTD 和 TO-HTD 作为混合 TD 算法，其在 on-policy 环境中使用标准 TD 更新，在 off-policy 环境中采用梯度-TD 风格的校正。
• 将优势迹（λ）整合进混合框架，以改善时间信用分配，同时保持稳定性。
• 采用重要性采样和后续分布校正，以解决 off-policy 发散问题，特别是在强调性 TD（ETD）及其变体中。
• 将镜面逼近法（mirror-prox）应用于最小化均方投影贝尔曼误差（MSPBE），从而导出具有有限样本收敛保证的 GTD2-mp 和 TDC-mp 算法。
• 实现真正的在线变体（TO-TD、TO-GTD），以校正前向视图与后向视图 TD 更新之间的不匹配，提升 on-policy 环境下的收敛性。
• 在持续、折扣化的任务中，采用基于状态的兴趣函数，所有状态的值设为 1.0，如原始 ETD 工作所推荐。

实验结果

研究问题

• RQ1 在 off-policy 采样下，混合 TD 方法（HTD、GTD(λ)、PTD）与传统 TD(λ) 和梯度-TD 方法相比，在收敛速度和稳定性方面表现如何？
• RQ2 引入优势迹（λ）是否能提升 off-policy 环境下的性能，还是反而加剧了方差与不稳定性？
• RQ3 基于镜面逼近的方法（GTD2-mp、TDC-mp）相对于标准 TD 和梯度-TD 方法表现如何，特别是在 Baird 反例等具有挑战性的领域？
• RQ4 强调性 TD（ETD）参数 β 对 off-policy 领域中性能与方差的影响如何？
• RQ5 在实际 off-policy 学习场景中，哪种算法在收敛性、方差、参数敏感性与计算成本之间实现了最佳权衡？

主要发现

• 在 off-policy 采样下，GTD(λ) 和 TO-GTD(λ) 在鲁棒性方面优于其他方法，且当计算成本为关键限制时，GTD(λ) 更具优势。
• 在 on-policy 环境中，GTD(λ) 的学习速度更快且参数敏感性优于 TD(λ)、PTD 和 HTD，挑战了传统认为 TD(λ) 在此类设置中更优的假设。
• 镜面逼近方法（GTD2-mp 和 TDC-mp）仅在 Baird 反例中表现最佳，但在其他 off-policy 领域中表现出高方差和较差性能，尤其在 λ > 0 时更为明显。
• 在极端 off-policy 领域（如 Baird 反例）中，优势迹（λ）基本无效，仅当 λ 接近零时才出现可靠的误差降低。
• TO-ETD(λ,β) 在大多数领域中表现出最佳整体性能，但存在高方差和对参数的尖锐敏感性，尤其在二值特征设置中更为显著。
• HTD(λ) 和 TO-HTD(λ) 在 Baird 反例中未发散，但表现令人不满意，表明其在高度 off-policy 环境中效果有限。