[论文解读] Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap

Haike Xu, Tengyu Ma+1 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Bandit Algorithms Research参考文献 26被引用 12

一句话总结

该论文提出自适应多步Bootstrap（AMB）算法，一种针对表格型MDP的无模型算法，其间隙依赖 regret 边界与子最优性差距的倒数之和以及 $|Z_{\text{mul}}|/\Delta_{\text{min}}$ 成比例，其中 $Z_{\text{mul}}$ 是具有非唯一最优动作的状态-动作对集合。与UCB方法不同，AMB避免了 $S/\Delta_{\text{min}}$ 的过度探索惩罚，从而在间隙依赖设置下，正式证明了强化学习与上下文Bandits之间的分离。

ABSTRACT

This paper presents a new model-free algorithm for episodic finite-horizon Markov Decision Processes (MDP), Adaptive Multi-step Bootstrap (AMB), which enjoys a stronger gap-dependent regret bound. The first innovation is to estimate the optimal $Q$-function by combining an optimistic bootstrap with an adaptive multi-step Monte Carlo rollout. The second innovation is to select the action with the largest confidence interval length among admissible actions that are not dominated by any other actions. We show when each state has a unique optimal action, AMB achieves a gap-dependent regret bound that only scales with the sum of the inverse of the sub-optimality gaps. In contrast, Simchowitz and Jamieson (2019) showed all upper-confidence-bound (UCB) algorithms suffer an additional $Ω\left(\frac{S}{Δ_{min}} ight)$ regret due to over-exploration where $Δ_{min}$ is the minimum sub-optimality gap and $S$ is the number of states. We further show that for general MDPs, AMB suffers an additional $\frac{|Z_{mul}|}{Δ_{min}}$ regret, where $Z_{mul}$ is the set of state-action pairs $(s,a)$'s satisfying $a$ is a non-unique optimal action for $s$. We complement our upper bound with a lower bound showing the dependency on $\frac{|Z_{mul}|}{Δ_{min}}$ is unavoidable for any consistent algorithm. This lower bound also implies a separation between reinforcement learning and contextual bandits.

研究动机与目标

• 为解决一个开放问题：非UCB算法是否能避免UCB方法在表格型MDP中所受的 $S/\Delta_{\text{min}}$ regret 项影响。
• 开发一种无模型算法，实现仅与子最优性差距倒数之和以及 $|Z_{\text{mul}}|/\Delta_{\text{min}}$ 成比例的间隙依赖 regret 边界，而非 $S/\Delta_{\text{min}}$。
• 建立一个下界，表明在任何一致算法中，$|Z_{\text{mul}}|/\Delta_{\text{min}}$ 项都是不可避免的，从而在间隙依赖设置下，正式证明了强化学习与上下文Bandits之间的分离。

提出的方法

• AMB 使用乐观Bootstrap结合自适应多步蒙特卡洛轨迹，以提高样本效率，估计最优 $Q$-函数。
• 该算法基于非占优动作中置信区间长度的最大值选择动作，从而在模糊状态下减少过度探索。
• 它根据估计的不确定性动态调整Bootstrap时域，实现与问题结构相适应的细粒度探索。
• 该方法采用一种新颖的置信区间构造方式，在值估计中平衡乐观性和方差减少。
• 它将状态-动作对分类为 $Z_{\text{mul}}$（非唯一最优动作）和 $Z_{\text{opt}}$（唯一最优动作），并将 regret 分析聚焦于 $Z_{\text{mul}}$。
• 理论分析结合了Bretagnolle–Huber不等式与相对熵界，推导出在困难MDP实例上的 regret 下界。

实验结果

研究问题

• RQ1 非UCB算法是否能在表格型MDP中实现间隙依赖 regret，而无需承受UCB方法所受的 $S/\Delta_{\text{min}}$ 过度探索惩罚？
• RQ2 在间隙依赖设置下，任何一致算法的 regret 边界中 $|Z_{\text{mul}}|/\Delta_{\text{min}}$ 项是否不可避免？
• RQ3 MDP中非唯一最优动作的存在是否在 regret 复杂度上，为强化学习与上下文Bandits之间创造了根本性区别？
• RQ4 无模型算法是否能实现仅与子最优性差距倒数之和以及 $|Z_{\text{mul}}|/\Delta_{\text{min}}$ 成比例的 regret 边界，而非 $S/\Delta_{\text{min}}$？
• RQ5 在任何一致算法中，$|Z_{\text{mul}}|$ 在表格型MDP regret 中的最优依赖关系是什么？

主要发现

• AMB 实现了间隙依赖 regret 边界 $\widetilde{O}\left(\sum_{(s,a,h)} \frac{1}{\Delta_h(s,a)} + \frac{|Z_{\text{mul}}|}{\Delta_{\text{min}}} + SA \right) \cdot \mathrm{poly}(H) \log K$，避免了UCB方法中固有的 $S/\Delta_{\text{min}}$ 项。
• 该算法的 regret 不随 $S/\Delta_{\text{min}}$ 增大，从而解决了Simchowitz和Jamieson（2019）提出的开放问题：此类依赖关系是否可被消除。
• 建立了下界，表明在 $|Z_{\text{mul}}| \approx SA/2$ 的困难实例中，任何一致算法都必须承受至少 $\Omega\left(\frac{SA \ln K}{32 \Delta_{\text{min}}}\right)$ 的 regret，从而证明 $|Z_{\text{mul}}|/\Delta_{\text{min}}$ 项是不可避免的。
• 该下界意味着在间隙依赖设置下，强化学习与上下文Bandits之间存在正式分离，因为上下文Bandits不会遭遇此类项。
• 分析确认 $|Z_{\text{mul}}|/\Delta_{\text{min}}$ 项是必要且最优的，且所提出的算法在间隙依赖设置下仅相差对数因子。