[论文解读] Learning to Predict Independent of Span

Hado van Hasselt, Richard S. Sutton|arXiv (Cornell University)|Aug 19, 2015

Reinforcement Learning in Robotics参考文献 21被引用 12

一句话总结

本文提出了一种通用的、与跨度无关的时序差分学习算法，无论预测跨度如何，均能以恒定的每步计算量实现精确预测。通过系统性地从期望属性（如离线/在线更新、对中间目标的信任以及收敛性）推导算法，优势构造如资格迹、TD误差和平均化自然涌现，统一于一个高效框架下，适用于强化学习与长时程预测。

ABSTRACT

We consider how to learn multi-step predictions efficiently. Conventional algorithms wait until observing actual outcomes before performing the computations to update their predictions. If predictions are made at a high rate or span over a large amount of time, substantial computation can be required to store all relevant observations and to update all predictions when the outcome is finally observed. We show that the exact same predictions can be learned in a much more computationally congenial way, with uniform per-step computation that does not depend on the span of the predictions. We apply this idea to various settings of increasing generality, repeatedly adding desired properties and each time deriving an equivalent span-independent algorithm for the conventional algorithm that satisfies these desiderata. Interestingly, along the way several known algorithmic constructs emerge spontaneously from our derivations, including dutch eligibility traces, temporal difference errors, and averaging. This allows us to link these constructs one-to-one to the corresponding desiderata, unambiguously connecting the `how' to the `why'. Each step, we make sure that the derived algorithm subsumes the previous algorithms, thereby retaining their properties. Ultimately we arrive at a single general temporal-difference algorithm that is applicable to the full setting of reinforcement learning.

研究动机与目标

• 解决传统多步预测算法因预测跨度增加而计算效率降低的问题。
• 推导出在保持精确预测的同时，每步计算量与跨度无关的算法。
• 通过将不同算法构造（如资格迹与TD误差）直接关联到特定期望属性，实现其统一。
• 开发一种单一、通用的时序差分算法，适用于离线、在线及混合预测场景。
• 确保在潜在无限时域（包括回合制与非回合制场景）下学习价值函数时的收敛性与鲁棒性。

提出的方法

• 形式化期望属性，如跨度独立性、在线更新以及对中间目标的信任，以指导算法推导。
• 通过重加权资格迹推导出与跨度无关的更新规则，自然引出‘荷兰资格迹’，无需预先假设。
• 将时序差分（TD）误差作为追求在线学习与中间目标信任的自然结果引入。
• 通过将在线权重平均到一个独立的可信向量中，提升收敛性与鲁棒性，灵感来自已知技术。
• 采用双时间尺度随机逼近框架：快速更新用于局部预测，慢速更新用于全局权重。
• 推导出一个通用算法（公式44），可涵盖所有先前变体，并在标准条件下保证收敛。

实验结果

研究问题

• RQ1 如何实现多步预测的恒定每步计算量，且与预测跨度无关？
• RQ2 当从特定期望属性推导出与跨度无关的预测算法时，哪些算法构造会自然涌现？
• RQ3 如何在单一框架下统一在线与离线学习，同时保持准确性与效率？
• RQ4 已知构造如资格迹与TD误差，如何从基本设计需求中自然产生？
• RQ5 能否推导出一个单一的通用算法，支持离线、在线、持续运行及软终止场景，并保证收敛？

主要发现

• 与跨度无关的算法推导自然产生知名构造，如荷兰资格迹、TD误差与权重平均化，且每一构造均与其底层期望属性直接关联。
• 最终算法为单一、通用的时序差分方法，涵盖所有先前变体，并在所有场景下保持精确预测。
• 在标准随机逼近条件下（∑βₜ = ∞ 且 ∑βₜ² < ∞），可保证收敛至最小化均方投影贝尔曼误差的不动点。
• 在线性函数逼近设定下，该方法可精确收敛至最优解，不动点满足 E[ϕₜϕₜᵀ]⁻¹E[ϕₜZₜ∞(θ*)] = θ*。
• 该方法支持硬终止与软终止，以及回合制与非回合制场景，计算效率保持一致。
• 该框架可推广至非线性模型，适用于深度神经网络等非线性函数逼近器，尽管等价性未必始终成立。