[论文解读] Incremental Truncated LSTD

Clement Gehring, Yangchen Pan+1 more|arXiv (Cornell University)|Nov 26, 2015

Reinforcement Learning in Robotics参考文献 31被引用 3

一句话总结

该论文提出 t-LSTD(λ)，一种基于截断奇异值分解（SVD）的最小二乘时序差分学习（LSTD）的增量式低秩近似方法，通过维护 LSTD 矩阵的截断 SVD，将计算和存储复杂度从 O(d²) 降低至 O(dr)。该方法在保持接近 LSTD 的样本效率的同时，实现了类似 TD 的计算效率，在基准任务和高维领域中均优于 TD 和 iLSTD，且无需进行学习率调优。

ABSTRACT

Balancing between computational efficiency and sample efficiency is an important goal in reinforcement learning. Temporal difference (TD) learning algorithms stochastically update the value function, with a linear time complexity in the number of features, whereas least-squares temporal difference (LSTD) algorithms are sample efficient but can be quadratic in the number of features. In this work, we develop an efficient incremental low-rank LSTD(λ) algorithm that progresses towards the goal of better balancing computation and sample efficiency. The algorithm reduces the computation and storage complexity to the number of features times the chosen rank parameter while summarizing past samples efficiently to nearly obtain the sample complexity of LSTD. We derive a simulation bound on the solution given by truncated low-rank approximation, illustrating a bias- variance trade-off dependent on the choice of rank. We demonstrate that the algorithm effectively balances computational complexity and sample efficiency for policy evaluation in a benchmark task and a high-dimensional energy allocation domain.

研究动机与目标

• 解决强化学习中值函数近似时计算效率与样本效率之间的权衡问题。
• 通过截断 SVD 的低秩近似，将标准 LSTD 的 O(d²) 存储与计算复杂度降低至 O(dr)。
• 通过秩截断实现高效、增量式的更新与正则化，提升数值稳定性和适应性。
• 通过实证验证低秩近似在高维特征空间（如瓦片编码和径向基函数）中的有效性。
• 证明 t-LSTD(λ) 在样本效率和计算效率方面均优于 TD 和 iLSTD，且无需进行学习率调优。

提出的方法

• 该算法维护 LSTD 矩阵的增量式截断 SVD，实时更新特征协方差矩阵的低秩近似。
• 使用秩参数 r 控制近似精度与计算成本之间的权衡，截断第 r 小以下的奇异值。
• 通过截断 SVD 的闭式更新计算解向量 w，每步计算复杂度为 O(dr + r³)。
• 通过衰减因子 βt ∈ (0,1) 实现对历史样本的高效加权，支持非平稳环境下的自适应能力。
• 引入 λ-回报以支持优势迹（eligibility traces），可推广至 λ > 0 的情形，并在初始实现中采用固定启发式方法进行阈值设定。
• 该算法推导过程保持与 LSTD 相同的解结构，但通过 SVD 截断降低维度。

实验结果

研究问题

• RQ1 对 LSTD 矩阵进行低秩近似是否能显著降低计算与存储成本，同时保持样本效率？
• RQ2 秩 r 的选择如何影响值函数近似中的偏差-方差权衡？
• RQ3 t-LSTD(λ) 在高维特征空间中是否在样本效率与计算效率方面均优于 TD 和 iLSTD？
• RQ4 t-LSTD(λ) 是否能有效用于在线、增量学习，且超参数调优极少？
• RQ5 截断奇异值对值函数估计的收敛性与稳定性有何影响？

主要发现

• 在 Mountain Car 任务中，尽管特征维度 d = 40,000，t-LSTD 在 r = 40 时仍优于 TD 和 iLSTD，实现了更快且更稳定的训练。
• 该算法实现了接近 LSTD 的样本效率，同时将复杂度控制在 O(dr)，显著降低了与完整 LSTD 相比的存储与计算开销。
• t-LSTD 消除了对学习率调优的需求，而 iLSTD 对学习率极为敏感，且容易发散。
• 该方法在高维能源分配任务中表现出色，展现出良好的可扩展性与鲁棒性。
• 实证结果证实，常见特征表示（如瓦片编码和 RBF）中存在明显的低秩结构，验证了 SVD 截断的合理性。
• 论文推导的仿真误差界明确表明，存在依赖于秩 r 的偏差-方差权衡：较低的 r 增加偏差，但提升稳定性和速度。