[论文解读] Adaptive Trade-Offs in Off-Policy Learning

Mark Rowland, Will Dabney+1 more|arXiv (Cornell University)|Oct 1, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文通过分析更新方差、固定点偏差和收缩率之间的权衡，提出了一种统一的离策略强化学习框架，由此开发出一种新型算法 C-trace，该算法通过高效平衡这些权衡，在大规模环境中实现了最先进性能，其在离策略评估和控制任务中的表现均优于现有方法。

ABSTRACT

A great variety of off-policy learning algorithms exist in the literature, and new breakthroughs in this area continue to be made, improving theoretical understanding and yielding state-of-the-art reinforcement learning algorithms. In this paper, we take a unifying view of this space of algorithms, and consider their trade-offs of three fundamental quantities: update variance, fixed-point bias, and contraction rate. This leads to new perspectives of existing methods, and also naturally yields novel algorithms for off-policy evaluation and control. We develop one such algorithm, C-trace, demonstrating that it is able to more efficiently make these trade-offs than existing methods in use, and that it can be scaled to yield state-of-the-art performance in large-scale environments.

研究动机与目标

• 通过分析更新方差、固定点偏差和收缩率这三个关键指标之间的权衡，统一理解现有离策略学习算法。
• 通过这一统一视角识别当前算法的根本局限性，并揭示改进离策略方法的新设计原则。
• 开发一种新型算法 C-trace，系统性地优化方差、偏差与收缩率之间的权衡，以提升样本效率和性能。
• 证明 C-trace 在大规模离策略评估与控制任务中实现了最先进结果。

提出的方法

• 作者将离策略学习形式化为三个基本量之间的权衡问题：更新方差、固定点偏差和收缩率。
• 他们推导出这三个指标之间的理论边界和关系，以指导算法设计与分析。
• C-trace 作为一种新型离策略算法被提出，其通过一种新颖的基于轨迹的更新机制，显式控制这三项权衡。
• 该算法使用加权的资格迹（eligibility traces）来降低方差，同时保持低偏差和快速收敛。
• C-trace 设计为可扩展且高效，适用于大规模强化学习环境中的部署。
• 通过消融研究和与现有算法在标准基准上的比较，对方法进行了评估。

实验结果

研究问题

• RQ1 更新方差、固定点偏差和收缩率如何共同影响离策略学习算法的性能？
• RQ2 这三个指标之间的理论权衡是什么？如何系统性地实现平衡？
• RQ3 能否设计一种新算法，通过优化这一权衡空间，超越现有方法？
• RQ4 C-trace 在大规模离策略设置中在多大程度上提升了样本效率和性能？

主要发现

• C-trace 通过有效平衡更新方差、固定点偏差和收缩率，在大规模离策略强化学习环境中实现了最先进性能。
• 与现有方法相比，该算法在高维控制任务中表现出更优的样本效率。
• 通过消融研究，作者证实控制这三项权衡指标可显著提升学习稳定性与收敛速度。
• C-trace 在离策略评估中优于先前算法，表现出更低的误差和更高的基准任务可靠性。