[论文解读] Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning

Christoph Dann, Teodor V. Marinov+2 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Bandit Algorithms Research参考文献 36被引用 5

一句话总结

本文提出了一种新的间隙定义——回报间隙（return gap），通过仅关注在最优策略下可达的状态，更好地捕捉了在任务型马尔可夫决策过程（episodic MDPs）中学习的难度。该文推导了乐观算法的更紧致的实例相关遗憾界，表明这些算法仅在最优策略唯一时才能在确定性 MDP 中实现近似最优性能，并建立了改进的上下界，进一步细化了基于值函数间隙的先前工作。

ABSTRACT

We provide improved gap-dependent regret bounds for reinforcement learning in finite episodic Markov decision processes. Compared to prior work, our bounds depend on alternative definitions of gaps. These definitions are based on the insight that, in order to achieve a favorable regret, an algorithm does not need to learn how to behave optimally in states that are not reached by an optimal policy. We prove tighter upper regret bounds for optimistic algorithms and accompany them with new information-theoretic lower bounds for a large class of MDPs. Our results show that optimistic algorithms can not achieve the information-theoretic lower bounds even in deterministic MDPs unless there is a unique optimal policy.

研究动机与目标

• 为解决现有基于值函数间隙的遗憾界所存在的局限性，即对所有状态-动作对一视同仁，而不论其在最优策略下是否可达。
• 提出一种新的间隙定义——回报间隙，通过仅关注可达的次优动作，反映实际学习难度。
• 基于此新间隙定义，推导出乐观算法的改进上界遗憾。
• 建立新的信息论下界，揭示乐观算法在 MDP 中的根本限制。
• 证明在确定性 MDP 中，除非最优策略唯一，否则乐观算法无法匹配信息论下界。

提出的方法

• 提出一种新的间隙定义——回报间隙，用于衡量最优策略与在特定状态-动作对处发生偏离的次优策略之间的回报差异。
• 采用一种新颖的分析框架，将遗憾界条件化于状态-动作对在最优策略下的可达性，避免对不可达的次优动作施加过度惩罚。
• 应用截断盈余分解技术来界定乐观算法的遗憾，利用一个新的优化引理（引理 F.16）在上界中节省了 H 的因子。
• 推导出上界为 $ Oigl( rac{ ext{poly}(H) imes ext{polylog}(K)}{ ext{return gap}} igr) $，优于先前的 $ O(H imes ext{log}(K)/ ext{value-function gap}) $ 上界。
• 建立一个新的信息论下界，其依赖于回报间隙，表明乐观算法的上下界之间存在 $ H^2 $ 的差距。
• 通过一个具有确定性转移的玩具 MDP 例子，说明值函数间隙可能过于悲观，而回报间隙更能反映真实的学习难度。

实验结果

研究问题

• RQ1 能否通过重新定义间隙概念以考虑最优策略下的可达性，来改进任务型强化学习中的遗憾界？
• RQ2 与传统的值函数间隙相比，新的回报间隙定义在紧致性和实际相关性方面表现如何？
• RQ3 在确定性 MDP 中，乐观算法在多大程度上可以达到信息论下界？
• RQ4 当最优策略不唯一时，乐观算法的上下界之间存在多大的根本差距？
• RQ5 是否可以通过仅关注最优策略实际可达状态中的次优动作，推导出更紧致的遗憾界？

主要发现

• 本文提出了一种仅依赖于在最优策略下可达的状态-动作对的回报间隙定义，从而显著收紧了遗憾界。
• 使用回报间隙的上界遗憾为 $ Oigl( rac{SH ext{log}(K)}{ ext{min return gap}} igr) $，优于先前的 $ Oigl( rac{SH ext{log}(K)}{ ext{min value-function gap}} igr) $ 上界。
• 回报间隙的信息论下界为 $ igOmegaigl( rac{ ext{log}(K)}{H imes ext{return gap}} igr) $，表明乐观算法的上下界之间存在 $ H^2 $ 的差距。
• 在确定性 MDP 中，除非最优策略唯一，否则乐观算法无法达到信息论下界。
• 分析表明，值函数间隙可能过于悲观，因为它对不可达的次优动作施加了惩罚，而回报间隙更能反映真实的学习难度。