[论文解读] Directly Estimating the Variance of the {\lambda}-Return Using Temporal-Difference Methods

Craig Sherstan, Brendan Bennett+5 more|arXiv (Cornell University)|Jan 25, 2018

Reinforcement Learning in Robotics参考文献 11被引用 5

一句话总结

本文提出了一种直接的时间差分方法，用于在强化学习中估计 λ-回报的方差，采用了一种新颖的贝尔曼算子，避免了对无偏 λ-回报估计的需求。与 VTD 等先前方法相比，该方法在分布外学习、学习率不匹配以及价值函数误差等情况下更为简单且鲁棒，实验结果表明其性能相当或更优，且估计方差更低。

ABSTRACT

This paper investigates estimating the variance of a temporal-difference learning agent's update target. Most reinforcement learning methods use an estimate of the value function, which captures how good it is for the agent to be in a particular state and is mathematically expressed as the expected sum of discounted future rewards (called the return). These values can be straightforwardly estimated by averaging batches of returns using Monte Carlo methods. However, if we wish to update the agent's value estimates during learning--before terminal outcomes are observed--we must use a different estimation target called the {\lambda}-return, which truncates the return with the agent's own estimate of the value function. Temporal difference learning methods estimate the expected {\lambda}-return for each state, allowing these methods to update online and incrementally, and in most cases achieve better generalization error and faster learning than Monte Carlo methods. Naturally one could attempt to estimate higher-order moments of the {\lambda}-return. This paper is about estimating the variance of the {\lambda}-return. Prior work has shown that given estimates of the variance of the {\lambda}-return, learning systems can be constructed to (1) mitigate risk in action selection, and (2) automatically adapt the parameters of the learning process itself to improve performance. Unfortunately, existing methods for estimating the variance of the {\lambda}-return are complex and not well understood empirically. We contribute a method for estimating the variance of the {\lambda}-return directly using policy evaluation methods from reinforcement learning. Our approach is significantly simpler than prior methods that independently estimate the second moment of the {\lambda}-return. Empirically our new approach behaves at least as well as existing approaches, but is generally more robust.

研究动机与目标

• 开发一种更简单且更鲁棒的方法，用于估计强化学习中 λ-回报的方差。
• 解决现有间接方法（如 VTD）的局限性，这些方法需要复杂的计算，并在估计中表现出更高的方差。
• 通过时间差分学习实现方差的直接估计，支持分布外学习、状态相关折扣率以及轨迹衰减参数。
• 通过实证评估，比较直接方差估计方法与 VTD 在多种学习场景（包括在线策略与分布外策略设置）下的性能。

提出的方法

• 提出一种用于 λ-回报方差的新贝尔曼算子，通过价值函数估计器的平方时间差分误差直接更新方差估计。
• 采用两阶段时间差分网络：第一阶段估计价值函数 J(s)，第二阶段使用平方 TD 误差作为元奖励来估计方差 V(s)。
• 该方法避免了对无偏 λ-回报估计的需求，与 VTD 不同，从而简化了更新规则并降低了学习过程中的方差。
• 通过使用重要性采样比率支持分布外学习，并能处理状态相关的折扣率与轨迹衰减参数。
• 采用直接更新规则，其中方差估计基于平方 TD 误差与价值估计平方之间的差异进行更新。
• 该算法设计兼容函数逼近，并自然扩展至投影贝尔曼算子框架。

实验结果

研究问题

• RQ1 与 VTD 等间接方法相比，使用新贝尔曼算子的直接方差估计在稳定性与收敛性方面表现如何？
• RQ2 价值与方差估计器之间学习率不匹配对估计质量的实证影响是什么？
• RQ3 在价值函数估计中使用资格迹如何影响方差估计算法的性能？
• RQ4 在估计分布外回报方差时，两种方法的表现如何？
• RQ5 在价值函数误差或噪声回报条件下，直接方法是否表现出比 VTD 更低的估计方差？

主要发现

• 在所有测试环境与设置中，直接方法在估计 λ-回报方差方面表现与 VTD 相当。
• 当价值与方差估计器之间存在学习率不匹配时，直接方法的估计方差显著低于 VTD。
• 在价值函数学习中使用资格迹的设置下，直接方法保持稳定与准确，而 VTD 在高回报状态中表现出更高的估计方差。
• 在估计分布外回报方差时，即使学习率相同，直接方法的估计方差仍低于 VTD。
• 在价值函数收敛前的早期学习阶段，直接方法更具鲁棒性，而 VTD 的估计更为不稳定。
• 理论分析表明，直接方差估计的误差与价值函数近似误差成正比，从而确保了稳定的学习动态。