[论文解读] Bellman Eluder Dimension: New Rich Classes of RL Problems, and Sample-Efficient Algorithms

Chi Jin, Qinghua Liu+1 more|arXiv (Cornell University)|Feb 1, 2021

Machine Learning and Algorithms参考文献 48被引用 29

一句话总结

简介 Bellman Eluder（BE）维度，作为 RL 与函数近似的统一复杂度度量，显示低 BE 维度包含了许多可行的 RL 类，并提出基于高斯优化的 Golf 算法（以及 Olive）在状态-动作空间规模无关的多项式样本复杂度下实现近似最优学习。

ABSTRACT

Finding the minimal structural assumptions that empower sample-efficient learning is one of the most important research directions in Reinforcement Learning (RL). This paper advances our understanding of this fundamental question by introducing a new complexity measure -- Bellman Eluder (BE) dimension. We show that the family of RL problems of low BE dimension is remarkably rich, which subsumes a vast majority of existing tractable RL problems including but not limited to tabular MDPs, linear MDPs, reactive POMDPs, low Bellman rank problems as well as low Eluder dimension problems. This paper further designs a new optimization-based algorithm -- GOLF, and reanalyzes a hypothesis elimination-based algorithm -- OLIVE (proposed in Jiang et al., 2017). We prove that both algorithms learn the near-optimal policies of low BE dimension problems in a number of samples that is polynomial in all relevant parameters, but independent of the size of state-action space. Our regret and sample complexity results match or improve the best existing results for several well-known subclasses of low BE dimension problems.

研究动机与目标

• 识别实现函数近似下样本高效 RL 的最小结构假设。
• 证明低 BE 维度包含许多已知的可解 RL 类（例如 Bellman Rank、Eluder 维度），并引入新的类。
• 设计在样本效率方面具有可证明性且与状态-动作空间大小无关的算法。

提出的方法

• 将 Bellman Eluder（BE）维度定义为跨步的 Bellman 残差的分布式 Eluder 维度。
• 提出 Golf 算法，一种基于优化的方法，通过对观测数据的局部回归约束来选择乐观的价值函数并更新置信集。
• 使用广义完备性假设和实现性来保证遗憾界限和样本复杂度界。
• 在 BE 框架内重新分析现有的假设消除算法 Olive，并比较其性能。
• 建立联系，表明 BE 维度包含低 Bellman Rank 和低 Eluder 维度，并且包括新的类，如核反应性 POMDPs。

实验结果

研究问题

• RQ1 实现函数近似下实现样本高效 RL 的最小结构复杂性是什么？
• RQ2 BE 维度是否能够统一并扩展如低 Bellman Rank 和低 Eluder 维度等现有的可解 RL 类？
• RQ3 在 BE 基础假设下，实际算法是否能够实现与状态-动作空间无关的多项式时间样本复杂度？
• RQ4 在 BE 基础假设下，Golf 与 Olive 相对于现有结果的表现如何？

主要发现

• 低 BE 维度定义了一类丰富的 RL 问题，其中包含许多已知的可解模型和新的模型。
• Golf 实现的遗憾和样本复杂度界随 BE 维度和 horizon 的多项式增长，且与状态-动作空间规模无关。
• Golf 在可实现性和广义完备性条件下实现近似最优策略，样本复杂度与 BE 维度和覆盖数相关。
• Olive 也能学习低 BE 维度的问题，但在类似假设下样本复杂度相较 Golf 较差。
• BE 维度包含低 Bellman Rank 和低 Eluder 维度，并且存在低 BE 维度但不被这两类的并集所覆盖的问题。