[论文解读] Finite-Sample Analysis for SARSA and Q-Learning with Linear Function Approximation

Shaofeng Zou, Tengyu Xu+1 more|arXiv (Cornell University)|Feb 6, 2019

Reinforcement Learning in Robotics参考文献 23被引用 10

一句话总结

本论文首次对连续状态空间中采用线性函数近似的SARSA和Q-learning进行了有限样本分析，建立了在非独立同分布数据和动态变化策略下的收敛速率。论文提出了一种新颖的梯度偏差界技术，表明线性函数近似相比最近邻方法具有更低阶的样本复杂度。

ABSTRACT

Though the convergence of major reinforcement learning algorithms has been extensively studied, the finite-sample analysis to further characterize the convergence rate in terms of the sample complexity for problems with continuous state space is still very limited. Such a type of analysis is especially challenging for algorithms with dynamically changing learning policies and under non-i.i.d. sampled data. In this paper, we present the first finite-sample analysis for the SARSA algorithm and its minimax variant (for zero-sum Markov games), with a single sample path and linear function approximation. To establish our results, we develop a novel technique to bound the gradient bias for dynamically changing learning policies, which can be of independent interest. We further provide finite-sample bounds for Q-learning and its minimax variant. Comparison of our result with the existing finite-sample bound indicates that linear function approximation achieves order-level lower sample complexity than the nearest neighbor approach.

研究动机与目标

• 解决在连续状态空间中采用线性函数近似的SARSA和Q-learning缺乏有限样本分析的问题。
• 在非独立同分布采样数据和动态变化学习策略下，建立收敛速率界。
• 开发一种用于在策略动态变化的强化学习中边界化梯度偏差的新技术。
• 比较线性函数近似与最近邻方法的样本复杂度。

提出的方法

• 提出一种新颖技术，用于边界化在强化学习中由动态变化学习策略引起的梯度偏差。
• 将该技术应用于推导零和马尔可夫博弈中SARSA及其极小极大变体的有限样本收敛界。
• 在相同假设下，将分析扩展至Q-learning及其极小极大对应版本。
• 采用单一样本路径框架，对连续状态空间中的序列化、非独立同分布数据进行建模。
• 使用线性函数近似表示值函数，从而实现对连续域的可扩展性。
• 推导出样本复杂度界，以量化达到期望精度所需的样本数量。

实验结果

研究问题

• RQ1 在非独立同分布数据下，采用线性函数近似的SARSA的有限样本收敛速率是多少？
• RQ2 当学习策略动态变化时，如何在强化学习中边界化梯度偏差？
• RQ3 与最近邻方法相比，线性函数近似实现了怎样的样本复杂度？
• RQ4 能否为采用线性函数近似的Q-learning及其极小极大变体建立有限样本界？
• RQ5 在样本复杂度阶次方面，理论界与现有结果相比如何？

主要发现

• 本论文首次在非独立同分布数据下，为连续状态空间中采用线性函数近似的SARSA建立了有限样本收敛界。
• 提出了一种新颖的梯度偏差边界技术，该技术不仅适用于本文特定算法，也可能具有独立的研究价值。
• 还为Q-learning及其极小极大变体推导出了有限样本界，将分析扩展至更广泛的应用场景。
• 理论分析表明，线性函数近似相比最近邻方法具有更低阶的样本复杂度。
• 研究结果对学习效率提供了定量表征，支持在连续控制任务中使用线性函数近似。