[论文解读] An Emphatic Approach to the Problem of Off-policy Temporal-Difference Learning

Richard S. Sutton, A. Rupam Mahmood+1 more|arXiv (Cornell University)|Mar 14, 2015

Reinforcement Learning in Robotics参考文献 30被引用 11

一句话总结

本文提出了一种名为强调性TD(λ)的新方法，通过使用重要性采样动态调整学习更新的权重，实现了在使用线性函数逼近时对离策略时序差分学习的稳定化。该方法仅需一个学习参数向量和一个学习率，便能实现稳定收敛，其简洁性优于以往的梯度-TD方法，同时保持每步线性复杂度，并在离策略训练下具有稳定性。

ABSTRACT

In this paper we introduce the idea of improving the performance of parametric temporal-difference (TD) learning algorithms by selectively emphasizing or de-emphasizing their updates on different time steps. In particular, we show that varying the emphasis of linear TD($λ$)'s updates in a particular way causes its expected update to become stable under off-policy training. The only prior model-free TD methods to achieve this with per-step computation linear in the number of function approximation parameters are the gradient-TD family of methods including TDC, GTD($λ$), and GQ($λ$). Compared to these methods, our _emphatic TD($λ$)_ is simpler and easier to use; it has only one learned parameter vector and one step-size parameter. Our treatment includes general state-dependent discounting and bootstrapping functions, and a way of specifying varying degrees of interest in accurately valuing different states.

研究动机与目标

• 解决在使用线性函数逼近时，传统TD(λ)在离策略设置下的不稳定性问题，避免参数发散。
• 开发一种方法，确保在离策略训练下实现稳定收敛，而无需双采样或复杂的参数更新。
• 通过减少学习参数的数量，简化离策略TD学习，相较于梯度-TD方法（需两个参数向量和两个学习率）实现更简化的结构。
• 在具有状态相关折扣率和兴趣函数的离策略场景中，实现准确的价值函数估计，支持对特定状态的关注。
• 提供一种理论基础坚实、计算高效的现有稳定离策略TD方法（如TDC和GQ(λ)）的替代方案，且超参数调优极少。

提出的方法

• 基于重要性采样比率，引入一种与状态和步长相关的强调函数，用于调节TD更新的幅度。
• 通过使用依赖于行为策略、目标策略和资格迹的强调因子，对线性TD(λ)的期望更新进行修改。
• 通过使用强调机制，确保更新中的关键矩阵为正定，从而在离策略条件下稳定学习。
• 通过结合状态访问频率与重要性采样，定义强调函数，实现在不同状态间动态调整学习重点。
• 使用单一参数向量进行价值函数逼近，以及单一学习率，简化实现并降低计算开销。
• 将方法推广以支持状态相关的折扣率和兴趣函数，实现对特定状态的优先关注。

实验结果

研究问题

• RQ1 是否一种简单、单参数的TD方法可在使用线性函数逼近时实现离策略训练下的稳定收敛，而无需双采样或多参数向量？
• RQ2 使用重要性采样对TD更新进行动态强调，如何影响离策略TD(λ)学习的稳定性和收敛性？
• RQ3 与传统TD(λ)相比，基于强调的加权机制是否能降低方差并改善离策略设置下的渐近近似误差？
• RQ4 强调方法是否在保持稳定的同时维持线性每步计算复杂度，而不同于LSTD(λ)等二次方法？
• RQ5 强调机制是否可扩展以支持状态相关的折扣率和兴趣函数，从而实现对特定状态的选择性关注？

主要发现

• 强调性TD(λ)在使用线性函数逼近时，实现了离策略训练下的稳定收敛，解决了传统TD(λ)在该设置下固有的不稳定性问题。
• 该方法仅需一个学习参数向量和一个学习率，显著简化于TDC和GQ(λ)等梯度-TD方法（后者需两个参数向量和两个学习率）。
• 每步计算复杂度保持为函数逼近参数数量的线性关系，与梯度-TD方法相当，优于LSTD(λ)等二次方法。
• 强调机制确保关键矩阵为正定，这足以保证稳定性，并暗示期望更新的收敛性。
• 实证示例表明，强调性TD(0)在离策略设置下相比传统TD(0)能降低方差并提升性能，尤其在关注特定状态时效果更明显。
• 理论分析表明，当强调函数在不同状态间变化时（如在仅初始状态感兴趣的周期性任务中），强调机制可改善渐近均方值误差（MSVE）。