[论文解读] Adaptive Lambda Least-Squares Temporal Difference Learning

Timothy Mann, Hugo Penedones+2 more|arXiv (Cornell University)|Dec 30, 2016

Reinforcement Learning in Robotics参考文献 11被引用 9

一句话总结

本文提出自适应 $λ$ 最小二乘时序差分学习（ALLSTD），一种无需参数调节的算法，通过高效实现留一轨迹交叉验证（LOTO-CV），在 LSTD($λ$) 中高效调优 $λ$ 超参数。通过将计算成本从 $O(kn)$ 降低至 $O(k)$ 次评估，ALLSTD 实现了接近最优的均方值误差（MSVE）性能，同时显著快于朴素的 LOTO-CV，使自动化 $λ$ 选择在实际强化学习应用中成为可能。

ABSTRACT

Temporal Difference learning or TD($λ$) is a fundamental algorithm in the field of reinforcement learning. However, setting TD's $λ$ parameter, which controls the timescale of TD updates, is generally left up to the practitioner. We formalize the $λ$ selection problem as a bias-variance trade-off where the solution is the value of $λ$ that leads to the smallest Mean Squared Value Error (MSVE). To solve this trade-off we suggest applying Leave-One-Trajectory-Out Cross-Validation (LOTO-CV) to search the space of $λ$ values. Unfortunately, this approach is too computationally expensive for most practical applications. For Least Squares TD (LSTD) we show that LOTO-CV can be implemented efficiently to automatically tune $λ$ and apply function optimization methods to efficiently search the space of $λ$ values. The resulting algorithm, ALLSTD, is parameter free and our experiments demonstrate that ALLSTD is significantly computationally faster than the naïve LOTO-CV implementation while achieving similar performance.

研究动机与目标

• 将 $λ$ 选择问题形式化为最小化均方值误差（MSVE），将其视为偏差-方差权衡问题。
• 提出一种数据驱动方法以选择 $λ$，避免人工调参并降低估计误差。
• 在 LSTD($λ$) 框架内实现 LOTO-CV 的高效计算，克服朴素实现中高昂的计算成本。
• 设计一种无需参数的算法，自动选择 $λ$ 以在多种环境中最小化 MSVE。
• 证明所提出的 ALLSTD 算法在性能上可匹配或超越人工调优的 $λ$ 值，同时具备计算高效性。

提出的方法

• 将 $λ$ 选择形式化为最小化 MSVE，视作偏差-方差权衡问题。
• 提出留一轨迹交叉验证（LOTO-CV）作为估计不同 $λ$ 值下 MSVE 的方法。
• 通过利用矩阵结构，推导出一种高效计算 LSTD($λ$) 中 LOTO-CV 的算法，将复杂度从 $O(kn)$ 降低至 $O(k)$。
• 将高效 LOTO-CV 与函数优化结合，用于在离散 $λ$ 值集合中进行搜索。
• 实现 ALLSTD 为一种无需参数的算法，自动选择 $λ$，无需人工调参或额外超参数。
• 证明在标准 LSTD 假设下，ALLSTD 收敛至最优假设。

实验结果

研究问题

• RQ1 能否通过数据驱动的交叉验证，自动选择 $λ$ 以最小化值函数估计中的 MSVE？
• RQ2 是否可能在 LSTD($λ$) 框架内高效实现 LOTO-CV，从而避免朴素方法中 $O(kn)$ 的计算成本？
• RQ3 在不同环境中，ALLSTD 的 MSVE 性能与人工调优的 $λ$ 值相比如何？
• RQ4 ALLSTD 是否能在显著快于朴素 LOTO-CV 实现的前提下，实现接近最优的 MSVE？
• RQ5 ALLSTD 在特征表示质量与轨迹数量各异的环境中是否保持鲁棒性？

主要发现

• ALLSTD 在所有评估领域（包括网格世界、随机游走和山地车环境）中，均实现了与最佳人工调优 $λ$ 值相当的 MSVE 性能。
• 在随机游走环境中，即使轨迹数量较少，ALLSTD 也显著降低了 MSVE，相比调优不佳的 $λ$ 值。
• 在山地车环境中，由于特征质量较差，$λ=1$ 最小化误差，ALLSTD 有效识别出此最优值。
• ALLSTD 将 LSTD 的计算成本从 $O(kn)$ 降低至 $O(k)$ 次评估，执行速度显著快于朴素的 LOTO-CV 实现。
• ALLSTD 在性能上匹配或超越了 RLSTD 和 LSTD 等先进方法在最佳 $λ$ 调优下的表现，同时具备无参数和可扩展性优势。
• 该算法在多样化环境中表现出一致的性能，证实其在真实强化学习应用中的鲁棒性与实用性。