[论文解读] Guarantees for Epsilon-Greedy Reinforcement Learning with Function Approximation

Christoph Dann, Yishay Mansour+3 more|arXiv (Cornell University)|Jun 19, 2022

Advanced Bandit Algorithms Research被引用 26

一句话总结

本文提出一个框架和理论，针对带有 epsilon-greedy 策略的短视探索在情节性 MDPs 中，定义了短视探索间隙并在有界 Bellman Eluder 维度下给出样本复杂度和后悔界的上界和下界。

ABSTRACT

Myopic exploration policies such as epsilon-greedy, softmax, or Gaussian noise fail to explore efficiently in some reinforcement learning tasks and yet, they perform well in many others. In fact, in practice, they are often selected as the top choices, due to their simplicity. But, for what tasks do such policies succeed? Can we give theoretical guarantees for their favorable performance? These crucial questions have been scarcely investigated, despite the prominent practical importance of these policies. This paper presents a theoretical analysis of such policies and provides the first regret and sample-complexity bounds for reinforcement learning with myopic exploration. Our results apply to value-function-based algorithms in episodic MDPs with bounded Bellman Eluder dimension. We propose a new complexity measure called myopic exploration gap, denoted by alpha, that captures a structural property of the MDP, the exploration policy and the given value function class. We show that the sample-complexity of myopic exploration scales quadratically with the inverse of this quantity, 1 / alpha^2. We further demonstrate through concrete examples that myopic exploration gap is indeed favorable in several tasks where myopic exploration succeeds, due to the corresponding dynamics and reward structure.

研究动机与目标

• 引入一个框架，用于分析基于值函数的强化学习在短视探索下的表现。
• 定义短视探索间隙，以捕捉子最优函数被短视策略识别的难易程度。
• 在 Bellman Eluder 维度下，推导带函数逼近的 epsilon-greedy RL 的样本复杂度和后悔界。
• 给出短视探索有利的条件并提供下界以证明紧性。

提出的方法

• 提出一种基于最小二乘回归的算法（算法1），通过在短视探索策略下采集的数据进行向后归纳来学习 Q 函数。
• 定义一个新的复杂度量——短视探索间隙 alpha(f, F, Pi', expl, M)，及其半径 c(f, F, Pi', expl, M)。
• 使用结构化分析，将间隙与需要多少情节来排除 F' 子集中的子最优函数相关联，借助 Bellman Eluder 维度 d 和覆盖数。
• 给出关于带有短视探索的 RL 的第一组关于后悔和样本复杂度的界限，以 alpha 和 c 表示。
• 给出一般上界（定理1）及其匹配下界，显示对 alpha 与维度的紧致依赖。

实验结果

研究问题

• RQ1 在什么情况下，像 epsilon-greedy 这样的短视探索策略能在带函数逼近的情况下实现样本高效学习？
• RQ2 短视探索间隙如何量化在短视策略下识别子最优价值函数的难易程度？
• RQ3 在带有有界 Bellman Eluder 维度的情节性 MDPs 中，epsilon-greedy RL 的样本复杂度和后悔保证是什么？
• RQ4 在 MDP 的哪些结构性条件（动力学和奖励）下，短视探索尤其有效？

主要发现

• 定义了一个新的短视探索间隙 alpha(f, F, Pi', expl, M)，以捕捉短视探索策略识别候选价值函数为子最优的难易程度。
• 论文给出一个样本复杂度上界，表明具有子最优 f 的情节数为 O((log c(F',F)) / alpha(F',F)^2 · H^2 · d · log factors)。
• 还建立了几乎匹配的下界 Omega(d / alpha(F',F)^2)，表明对短视探索间隙和 Bellman Eluder 维度的依赖是紧致的。
• 推论表明，在有利的动力学（例如较小的乘法性动作变化）或情景带宽度结构（delta_P = 1）下，间隙很大，学习更快。
• 密集奖励塑形可能改进或阻碍短视探索，取决于它如何改变探索策略下的有信息样本。
• 基于势的奖励塑形在表格设置下不会影响间隙，因为塑形下策略返回相同。