[论文解读] META-Learning State-based Eligibility Traces for More Sample-Efficient Policy Evaluation

Mingde Zhao, Sitao Luan+3 more|arXiv (Cornell University)|Apr 25, 2019

Reinforcement Learning in Robotics被引用 7

一句话总结

该论文提出 META，一种元学习方法，通过在时序差分学习中自适应地调整基于状态或特征的 eligibility trace 参数（λ），以提升样本效率。通过使用辅助学习器在线估计目标统计量，并以极低的计算开销增量更新 λ 值，META 降低了目标误差，在函数逼近下，无论在同策略还是异策略设置中，均提升了学习速度与鲁棒性。

ABSTRACT

Temporal-Difference (TD) learning is a standard and very successful reinforcement learning approach, at the core of both algorithms that learn the value of a given policy, as well as algorithms which learn how to improve policies. TD-learning with eligibility traces provides a way to boost sample efficiency by temporal credit assignment, i.e. deciding which portion of a reward should be assigned to predecessor states that occurred at different previous times, controlled by a parameter $\\lambda$. However, tuning this parameter can be time-consuming, and not tuning it can lead to inefficient learning. For better sample efficiency of TD-learning, we propose a meta-learning method for adjusting the eligibility trace parameter, in a state-dependent manner. The adaptation is achieved with the help of auxiliary learners that learn distributional information about the update targets online, incurring roughly the same computational complexity per step as the usual value learner. Our approach can be used both in on-policy and off-policy learning. We prove that, under some assumptions, the proposed method improves the overall quality of the update targets, by minimizing the overall target error. This method can be viewed as a plugin to assist prediction with function approximation by meta-learning feature (observation)-based $\\lambda$ online, or even in the control case to assist policy improvement. Our empirical evaluation demonstrates significant performance improvements, as well as improved robustness of the proposed algorithm to learning rate variation.

研究动机与目标

• 为解决 TD(λ) 学习中的超参数敏感性问题，特别是为实现最优样本效率而调节 λ 的困难。
• 开发一种方法，动态且高效地在不同状态下自适应调整 λ，提升学习目标的质量，同时不增加计算复杂度。
• 在函数逼近下，实现同策略与异策略强化学习中对 eligibility trace 的有效利用。
• 设计一种元学习框架，直接优化整体目标误差，而非依赖启发式或固定 λ 值。

提出的方法

• META 使用辅助学习器，追踪回报目标的在线统计量，以估计每个状态或特征表示下的最优 λ。
• 该方法基于估计的目标误差，采用增量更新方式调整 λ 值，确保计算效率与标准 TD(λ) 相当。
• 它将 λ 的自适应过程建模为元优化问题，直接最小化更新目标的期望平方误差。
• 该方法支持同策略与异策略学习，并可与函数逼近及自适应学习率结合使用。
• 为保持稳定性，每次更新后将 λ 值裁剪至 [0,1] 区间，防止发散。

实验结果

研究问题

• RQ1 与固定 λ 相比，状态相关的 λ 自适应是否能提升 TD 学习中的样本效率？
• RQ2 在线元学习 λ 值是否能降低目标误差并加速值预测任务的收敛？
• RQ3 META 在不同学习率和异策略设置下的表现如何？
• RQ4 该方法能否高效集成到 actor-critic 框架中，以改善 critic 的学习？

主要发现

• META 在多个环境（包括 RingWorld、FrozenLake 和 MountainCar）中显著提升了策略评估的样本效率。
• 该方法降低了对学习率选择的敏感性，在同策略与异策略设置下均表现出更强的鲁棒性。
• 在 MountainCar 环境中，META 表现优于基线方法，尤其在 critic 学习率较低时，显著减少了对高学习率以稳定训练的需求。
• 实证结果表明，在表格型与函数逼近设置下，多种行为-目标策略对中，该方法均表现出一致的精度提升。
• 使用学习率为主值学习器两倍的辅助学习器，可增强 λ 自适应的稳定性，尤其在具有挑战性的探索场景中。