[论文解读] Emphatic Temporal-Difference Learning

Ashique Rupam Mahmood, Huizhen Yu+2 more|arXiv (Cornell University)|Jul 6, 2015

Reinforcement Learning in Robotics参考文献 19被引用 21

一句话总结

该论文提出了强调时序差分学习（ETD），一种稳定且收敛的离策略TD学习算法，通过用户定义的兴趣函数选择性地强调或弱化状态更新。该算法在使用线性函数逼近和任意离策略训练时实现收敛，通过引入与状态相关的强调机制和自举法，实现灵活、高效且精确的值函数估计，每步计算复杂度为线性。

ABSTRACT

Emphatic algorithms are temporal-difference learning algorithms that change their effective state distribution by selectively emphasizing and de-emphasizing their updates on different time steps. Recent works by Sutton, Mahmood and White (2015), and Yu (2015) show that by varying the emphasis in a particular way, these algorithms become stable and convergent under off-policy training with linear function approximation. This paper serves as a unified summary of the available results from both works. In addition, we demonstrate the empirical benefits from the flexibility of emphatic algorithms, including state-dependent discounting, state-dependent bootstrapping, and the user-specified allocation of function approximation resources.

研究动机与目标

• 为解决在函数逼近下，基于用户定义的兴趣选择性强调状态更新时，离策略时序差分学习的不稳定性问题。
• 开发一种方法，确保在允许状态相关折扣、自举法和用户指定状态强调的情况下，离策略TD学习的收敛性和稳定性。
• 通过总结Sutton等人（2015）和Yu（2015）先前工作中关于强调算法稳定性和收敛性的理论结果，实现统一与归纳。
• 通过实证证明ETD(λ)可在单一行为策略下同时准确预测多个目标策略的值函数，即使在离策略条件下亦成立。
• 表明ETD(λ)通过利用兴趣函数和自适应强调机制，在稳定性与准确性方面优于传统TD(λ)。

提出的方法

• 该算法通过将标准TD(0)更新乘以与状态相关的强调因子进行修改，该因子定义为该状态兴趣与行为策略下预期访问频率的乘积。
• 引入一种与状态相关的强调函数，以调整每次更新的有效重要性，实现对状态的优先级排序，而不仅依赖于访问频率。
• 该方法采用一种新颖的学习规则，结合兴趣函数与资格迹，以在离策略训练下保持稳定性和收敛性。
• 采用双时间尺度更新机制：一个用于值函数参数，另一个用于强调函数，通过李雅普诺夫稳定性分析确保收敛。
• 通过允许λ随状态变化，支持状态相关的折扣和自举法，实现灵活的时间抽象。
• 对更新增量应用截断机制，以降低方差并提高数值稳定性，尤其在高方差的离策略设置中表现更优。

实验结果

研究问题

• RQ1 当基于用户定义的兴趣选择性强调状态更新时，能否在使用线性函数逼近的情况下使离策略时序差分学习保持稳定和收敛？
• RQ2 如何设计一种学习算法，优先处理某些状态进行值函数估计，同时不损害收敛性，尤其是在行为策略与目标策略不同的情况下？
• RQ3 与状态相关的强调和自举法在提升值函数估计的准确性和稳定性方面起到什么作用？
• RQ4 ETD(λ)与传统TD(λ)相比，在离策略条件下的收敛性和性能表现如何？
• RQ5 ETD(λ)能否在使用单一行为策略的同时，学习多个目标策略的值函数，且仍保持稳定性和准确性？

主要发现

• ETD(λ)在使用线性函数逼近的离策略训练下实现了收敛，即使兴趣函数与行为策略不同，成功解决了离策略TD学习中长期存在的不稳定性问题。
• 该算法通过引入与状态相关的强调函数，根据兴趣和访问频率平衡每次更新的影响，成功维持了稳定性和收敛性。
• 在网格世界实验中，ETD(λ)在三种不同目标策略（均匀、优先、谨慎）下对Block A的值进行了估计，并在50次独立运行中保持了正确的策略性能相对排序。
• 对更新增量进行截断显著降低了波动性，提升了稳定性，尤其在高方差的离策略设置中，未截断的更新导致与真实值的大幅偏离。
• 该算法证明了状态相关折扣和自举法（通过λ随状态变化）是可行且有益的，实现了更准确和灵活的值函数估计。
• 当利用兴趣函数优先处理状态时，ETD(λ)在稳定性与准确性方面优于标准TD(λ)，尤其在离策略和函数逼近设置下表现更优。