[论文解读] Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates

Carlos Riquelme, Hugo Penedones+6 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出了一种自适应时序差分（TD）学习方法，通过学习到的置信区间动态检测偏差，按状态在TD和蒙特卡洛（MC）更新之间进行选择。通过根据估计的不确定性在两者之间切换，该算法减少了误差传播，并在多个策略评估任务中实现了与事后最优选择相当的性能。

ABSTRACT

We consider the core reinforcement-learning problem of on-policy value function approximation from a batch of trajectory data, and focus on various issues of Temporal Difference (TD) learning and Monte Carlo (MC) policy evaluation. The two methods are known to achieve complementary bias-variance trade-off properties, with TD tending to achieve lower variance but potentially higher bias. In this paper, we argue that the larger bias of TD can be a result of the amplification of local approximation errors. We address this by proposing an algorithm that adaptively switches between TD and MC in each state, thus mitigating the propagation of errors. Our method is based on learned confidence intervals that detect biases of TD estimates. We demonstrate in a variety of policy evaluation tasks that this simple adaptive algorithm performs competitively with the best approach in hindsight, suggesting that learned confidence intervals are a powerful technique for adapting policy evaluation to use TD or MC returns in a data-driven way.

研究动机与目标

• 解决使用批量轨迹数据进行策略内值函数近似时的偏差-方差权衡问题。
• 减少由局部近似误差引起的TD学习中的误差传播。
• 开发一种基于不确定性的数据驱动方法，按状态选择TD或MC更新。
• 通过自适应地利用TD和MC方法的优势，提升策略评估性能。
• 证明学习到的置信区间能够有效指导TD与MC回报之间的选择。

提出的方法

• 该方法使用学习到的置信区间来估计每个状态中TD值函数估计的偏差。
• 当TD估计值落在其学习到的置信区间之外时，自适应地在TD和MC更新之间切换。
• 置信区间通过神经网络进行训练，以预测TD估计中的不确定性。
• 该算法在批量设置下运行，使用离线轨迹数据进行策略评估。
• 切换决策按状态进行，允许对误差特征进行局部自适应。
• 该方法通过在每个状态中选择预期误差更低的方法，结合了TD的低方差与MC的低偏差特性。

实验结果

研究问题

• RQ1 学习到的置信区间能否有效检测TD值估计中的偏差？
• RQ2 与固定方法相比，TD与MC之间的自适应切换是否能提升策略评估性能？
• RQ3 该算法能否在事后与TD和MC之间最佳选择的性能相当？
• RQ4 该方法在具有不同近似误差水平的多样化策略评估任务中表现如何？
• RQ5 基于不确定性的切换对值函数学习中的误差传播有何影响？

主要发现

• 自适应算法在多个任务中实现了与事后最优选择在TD和MC之间相当的性能。
• 使用学习到的置信区间能够有效检测出有偏差的TD估计，从而实现明智的切换决策。
• 当TD估计不可靠时，通过切换到MC，该方法减少了局部近似误差的传播。
• 该算法在多样化的策略评估环境中表现出稳健性能，优于固定的TD和MC基线方法。
• 结果表明，基于不确定性的自适应显著改善了值函数近似，通过平衡偏差与方差。
• 该方法表明，基于置信区间的、数据驱动的切换是一种强大的策略评估技术。