[论文解读] A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning

Martha White, Adam White|arXiv (Cornell University)|Jul 2, 2016

Reinforcement Learning in Robotics参考文献 17被引用 8

一句话总结

本文提出了一种新颖的、增量式的、兼容函数逼近的算法，用于在强化学习中在线自适应TD($\lambda$)追踪参数$\lambda$。通过贪婪地最小化偏差-方差权衡目标，该方法在每个状态下动态调整$\lambda$，相较于固定或启发式$\lambda$调度策略，在同策略与异策略设置下均实现了更高的样本效率和更强的鲁棒性。

ABSTRACT

One of the main obstacles to broad application of reinforcement learning methods is the parameter sensitivity of our core learning algorithms. In many large-scale applications, online computation and function approximation represent key strategies in scaling up reinforcement learning algorithms. In this setting, we have effective and reasonably well understood algorithms for adapting the learning-rate parameter, online during learning. Such meta-learning approaches can improve robustness of learning and enable specialization to current task, improving learning speed. For temporal-difference learning algorithms which we study here, there is yet another parameter, $λ$, that similarly impacts learning speed and stability in practice. Unfortunately, unlike the learning-rate parameter, $λ$ parametrizes the objective function that temporal-difference methods optimize. Different choices of $λ$ produce different fixed-point solutions, and thus adapting $λ$ online and characterizing the optimization is substantially more complex than adapting the learning-rate parameter. There are no meta-learning method for $λ$ that can achieve (1) incremental updating, (2) compatibility with function approximation, and (3) maintain stability of learning under both on and off-policy sampling. In this paper we contribute a novel objective function for optimizing $λ$ as a function of state rather than time. We derive a new incremental, linear complexity $λ$-adaption algorithm that does not require offline batch updating or access to a model of the world, and present a suite of experiments illustrating the practicality of our new algorithm in three different settings. Taken together, our contributions represent a concrete step towards black-box application of temporal-difference learning methods in real world problems.

研究动机与目标

• 解决在函数逼近与异策略设置下，缺乏可扩展、在线且稳定的元学习方法来适应TD($\\lambda$)追踪参数$\lambda$的问题。
• 开发一种按状态而非随时间调整$\lambda$的方法，以在动态环境中实现更优的偏差-方差权衡。
• 确保与增量学习、函数逼近及异策略采样兼容——这些是实际强化学习部署的关键需求。
• 提供一种实用的、无模型的、计算高效的$\lambda$自适应解决方案，避免批量处理或先验模型知识。

提出的方法

• 提出一种新目标函数，通过贪婪地最小化$\lambda$-回报与真实值函数之间的期望平方误差，实现偏差与方差的平衡。
• 推导出一种增量式、线性复杂度的算法，利用时序差分学习原理更新状态相关的$\lambda(s)$。
• 使用GTD($\lambda=1$)估计$\lambda$-回报的二阶矩，从而实现目标函数中方差项的在线计算。
• 采用一种贪婪策略，假设未来$\lambda$值将被设为1（无偏），因此倾向于选择较低的$\lambda_{t+1}$以减少未来方差。
• 引入一种与时域相关的贪婪假设松弛机制，允许在未来有限时域内控制$\lambda$值，从而提升谨慎性。
• 在表格设置与函数逼近设置中应用该算法，涵盖同策略与异策略环境，包括状态别名情况。

实验结果

研究问题

• RQ1 一种贪婪的、增量式的算法能否按状态自适应调整TD($\lambda$)参数$\lambda$，以在异策略与函数逼近设置下提升学习的稳定性和速度？
• RQ2 与固定$\lambda$值和时间衰减调度相比，按状态调整$\lambda$在样本效率与鲁棒性方面表现如何？
• RQ3 该算法是否收敛至一个明确定义的不动点，特别是在值函数估计可靠时$\lambda(s) \approx 0$？
• RQ4 在状态别名情况下，即值函数估计置信度较低、更偏好较高$\lambda$值时，该算法表现如何？

主要发现

• $\lambda$-贪婪算法在多个环境中（包括同策略与异策略设置）均持续优于固定$\lambda$值与时间衰减调度策略。
• 在表格设置中，该算法收敛至$\lambda(s) \approx 0$，表明其在可能时学会消除偏差，并通过禁用资格迹来降低方差。
• 在别名特征设置中，$\lambda$-贪婪算法在别名状态中提高$\lambda(s)$，展示了其在值估计不可靠时降低偏差的能力。
• 最优$\lambda$-贪婪变体（使用第二矩的理想估计）表现最佳，表明在方差项估计方面仍有改进空间。
• 通过GTD($\lambda=1$)估计第二矩可实现良好性能，但该方法对元超参数敏感，提示仍需进一步调优。
• 该算法对链长变化与策略偏移（同策略到异策略）表现出鲁棒性，而固定$\lambda$与衰减调度策略在这些条件下性能下降。