[论文解读] Model-Based Reinforcement Learning in Contextual Decision Processes.

Wen Sun, Nan Jiang+3 more|arXiv (Cornell University)|Nov 21, 2018

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出了一种基于模型的强化学习算法，用于上下文决策过程，其样本复杂度由一种新的结构参数——见证秩（witness rank）所控制，该参数在理论上小于贝尔曼秩（Bellman rank）。作者在富观测设置（如因子化MDP）中展示了基于模型与无模型强化学习之间的指数级样本效率差距，表明基于模型的方法可显著提升样本效率。

ABSTRACT

We study the sample complexity of model-based reinforcement learning in general contextual decision processes. We design new algorithms for RL with an abstract model class and analyze their statistical properties. Our algorithms have sample complexity governed by a new structural parameter called the witness rank, which we show to be small in several settings of interest, including Factored MDPs and reactive POMDPs. We also show that the witness rank of a problem is never larger than the recently proposed Bellman rank parameter governing the sample complexity of the model-free algorithm OLIVE (Jiang et al., 2017), the only other provably sample efficient algorithm at this level of generality. Focusing on the special case of Factored MDPs, we prove an exponential lower bound for all model-free approaches, including OLIVE, which when combined with our algorithmic results demonstrates exponential separation between model-based and model-free RL in some rich-observation settings.

研究动机与目标

• 分析基于模型的强化学习在一般上下文决策过程中的样本复杂度。
• 引入一种新的结构参数——见证秩，以表征基于模型学习的复杂度。
• 证明见证秩在所有一般上下文决策过程中均不大于贝尔曼秩，即当前最先进的无模型强化学习参数。
• 在富观测设置中，建立基于模型与无模型方法之间的指数级样本复杂度分离。
• 为基于模型方法在复杂观测结构设置中的优越性提供理论依据。

提出的方法

• 作者设计了新的基于模型的强化学习算法，使用抽象模型类来表示环境动态。
• 他们引入见证秩作为结构参数，用于量化模型类在见证最优行为方面的能力。
• 算法利用该参数来界定样本复杂度，确保在学习最优策略时的数据效率。
• 分析将见证秩与现有参数（如贝尔曼秩）联系起来，证明其不会更大。
• 该方法适用于一般上下文决策过程，包括因子化MDP和反应式POMDP。
• 理论保证通过专为基于模型强化学习设计的统计学习技术推导得出。

实验结果

研究问题

• RQ1 基于模型的强化学习的样本复杂度在多大程度上依赖于环境模型的结构？
• RQ2 能否定义一种新的结构参数，以比现有参数更紧密地捕捉基于模型学习的复杂度？
• RQ3 在一般上下文决策过程中，见证秩是否总是小于贝尔曼秩？
• RQ4 在富观测设置中，基于模型的强化学习能否实现相对于无模型方法的指数级样本效率提升？
• RQ5 在因子化MDP等设置中，无模型强化学习的根本极限是什么？

主要发现

• 见证秩永远不会大于贝尔曼秩，意味着使用见证秩的基于模型算法可实现至少与无模型方法（如OLIVE）相当的样本复杂度。
• 在因子化MDP中，作者证明了所有无模型方法（包括OLIVE）的样本复杂度存在指数级下界。
• 当该下界与作者提出的基于模型算法的上界相结合时，确立了在富观测设置中基于模型与无模型强化学习之间的指数级分离。
• 在实际场景（如因子化MDP和反应式POMDP）中，见证秩被证明较小，表明具有强大的数据效率。
• 结果表明，在具有复杂观测结构的环境中，基于模型的强化学习可比无模型强化学习实现指数级更高的样本效率。
• 理论框架为统一分析和比较一般上下文决策过程中的基于模型与无模型强化学习提供了支持。