[论文解读] Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis

Assaf Hallak, Aviv Tamar+2 more|arXiv (Cornell University)|Sep 17, 2015

Reinforcement Learning in Robotics参考文献 15被引用 18

一句话总结

本文提出了 ETD(λ, β)，一种广义的离策略时序差分学习框架，通过重要性采样比率的衰减参数 β 控制偏差与方差。本文首次为 ETD(λ, β) 建立了渐近误差界，证明了原始 ETD 算法具有有界偏差，并表明通过调节 β 可实现有利的偏差-方差权衡，从而在总误差上超越标准 ETD 设置。

ABSTRACT

We consider the off-policy evaluation problem in Markov decision processes with function approximation. We propose a generalization of the recently introduced \emph{emphatic temporal differences} (ETD) algorithm \citep{SuttonMW15}, which encompasses the original ETD($λ$), as well as several other off-policy evaluation algorithms as special cases. We call this framework \ETD, where our introduced parameter $β$ controls the decay rate of an importance-sampling term. We study conditions under which the projected fixed-point equation underlying \ETD\ involves a contraction operator, allowing us to present the first asymptotic error bounds (bias) for \ETD. Our results show that the original ETD algorithm always involves a contraction operator, and its bias is bounded. Moreover, by controlling $β$, our proposed generalization allows trading-off bias for variance reduction, thereby achieving a lower total error.

研究动机与目标

• 将现有的离策略 TD 算法统一于一个能够实现可控偏差-方差权衡的单一框架下。
• 在函数逼近和一般行为策略-目标策略对存在的情况下，分析离策略时序差分学习的偏差。
• 为强调时序差分（ETD）算法及其泛化形式建立首个渐近误差界。
• 证明 ETD(λ, β) 框架在一般条件下保持压缩性质，确保收敛性和有界误差。
• 证明原始 ETD（β = γ）在均方误差意义上可能并非最优，且可通过调节 β 降低总误差。

提出的方法

• 提出 ETD(λ, β)，ETD(λ) 的泛化形式，其中 β 控制更新规则中重要性采样比率的衰减速率。
• 引入一个基于行为策略和衰减参数 β 的状态相关加权矩阵 m 的投影贝尔曼算子。
• 使用一种修改后的贝尔曼算子 T^(λ)，其结合了 λ 自举法和 β 衰减的重要性采样，其在特定条件下构成压缩映射。
• 应用詹森不等式和矩阵范数分析，证明当 β 选择适当时，算子 Π_m T^(λ) 是压缩的。
• 推导出算子压缩模量的界，表明其随 λ 接近 1 而减小，且依赖于 β 和 γ。
• 通过分析转移矩阵 P_π 的特征值结构，建立算子为压缩映射的条件。

实验结果

研究问题

• RQ1 在何种条件下，ETD(λ, β) 中的投影贝尔曼算子是压缩映射，从而确保收敛性和有界误差？
• RQ2 ETD(λ, β) 中的衰减参数 β 如何影响离策略值函数估计的偏差与方差？
• RQ3 能否证明原始 ETD 算法（β = γ）在一般行为策略和目标策略下具有有界渐近误差？
• RQ4 是否存在一个 β 值，可通过平衡偏差与方差来最小化总均方误差？
• RQ5 ETD(λ, β) 框架能否将已知的离策略 TD 方法（如 IS-TD、标准 TD 和 ETD）作为特例统一起来？

主要发现

• ETD(λ, β) 算法对所有 β ≥ γ 均保持压缩性质，确保收敛性和有界渐近误差。
• 证明了原始 ETD 算法（β = γ）在一般目标策略和行为策略下具有有界偏差，解决了其误差行为的开放问题。
• 算子的压缩模量依赖于 β 和 λ，且随 λ 接近 1 而减小，表明收敛速度提升。
• 偏差-方差权衡被显式量化：增加 β 可减少方差但可能增加偏差，反之亦然。
• 最小化均方误差的最优 β 并不一定是 γ，表明通过调节 β 可获得低于原始 ETD 的总误差。
• 通过调节 β，ETD(λ, β) 框架可将 IS-TD、ETD 和标准 TD 统一为特例，为离策略 TD 方法提供了统一的视角。