[论文解读] Efficient Model-free Reinforcement Learning in Metric Spaces

Zhao Song, Wen Sun|arXiv (Cornell University)|May 1, 2019

Reinforcement Learning in Robotics参考文献 19被引用 20

一句话总结

该论文提出了一种基于网络的Q-learning（NbQl），这是一种适用于具有度量结构的连续状态-动作空间的无模型强化学习算法。通过利用最优Q值函数的Lipschitz连续性，并在$\epsilon$-网络上使用基于计数的近似探索策略，NbQl在不依赖规划预言机或生成模型的前提下，实现了$\widetilde{O}(T^{(d+1)/(d+2)})$的遗憾边界，其中$d$为覆盖维数。

ABSTRACT

Model-free Reinforcement Learning (RL) algorithms such as Q-learning [Watkins, Dayan 92] have been widely used in practice and can achieve human level performance in applications such as video games [Mnih et al. 15]. Recently, equipped with the idea of optimism in the face of uncertainty, Q-learning algorithms [Jin, Allen-Zhu, Bubeck, Jordan 18] can be proven to be sample efficient for discrete tabular Markov Decision Processes (MDPs) which have finite number of states and actions. In this work, we present an efficient model-free Q-learning based algorithm in MDPs with a natural metric on the state-action space--hence extending efficient model-free Q-learning algorithms to continuous state-action space. Compared to previous model-based RL algorithms for metric spaces [Kakade, Kearns, Langford 03], our algorithm does not require access to a black-box planning oracle.

研究动机与目标

• 将高效的无模型Q-learning从离散表格型MDP扩展到具有自然度量的连续状态-动作空间。
• 消除对规划预言机的需求，而这是先前基于度量空间的模型化强化学习方法所必需的。
• 利用最优Q值函数的Lipschitz连续性，为连续空间中的探索建立理论保证。
• 为实践中广泛使用的近似计数为基础的探索策略提供理论基础。

提出的方法

• 提出基于网络的Q-learning（NbQl），一种在度量空间中应用不确定性乐观性的Q-learning变体。
• 在状态-动作空间上使用$\epsilon$-网络来维护访问计数，通过Lipschitz连续性实现泛化。
• 采用一种近似计数为基础的探索策略，仅跟踪网络点的访问次数，而非所有状态-动作对。
• 使用度量空间的覆盖数作为复杂度度量，替代对状态-动作空间大小的依赖。
• 使用Hoeffding型浓度不等式来控制值函数更新中的估计误差。
• 通过在时间步上进行递归分解，分析最优策略与学习策略之间的差异，推导出遗憾边界。

实验结果

研究问题

• RQ1 能否在具有度量结构的连续状态-动作空间中，使无模型Q-learning在理论上具有高效性？
• RQ2 最优Q值函数的Lipschitz连续性是否足以在无需规划预言机的情况下实现高效探索？
• RQ3 近似计数为基础的探索策略能否在连续度量空间中获得理论上的合理性？
• RQ4 在这种设置下，遗憾边界对覆盖维数和时间跨度的最优依赖关系是什么？

主要发现

• NbQl实现了$\widetilde{O}(T^{(d+1)/(d+2)})$的遗憾边界，其中$d$为状态-动作空间的覆盖维数。
• 遗憾边界依赖于度量空间的覆盖数，而非状态-动作空间的大小，从而实现了在连续域中的可扩展性。
• 该算法不需要访问规划预言机，这与先前在度量空间中的基于模型的方法不同。
• 理论分析为在连续强化学习中使用近似计数为基础的探索策略提供了合理性，该策略在实践中已被证明有效。
• 该边界是在最优Q值函数为Lipschitz连续的假设下推导出的，这一条件弱于对动态或奖励平滑性的假设。
• 该方法结构简单，与经典Q-learning相似，因此实用且易于实现。