[论文解读] Model-based RL in Contextual Decision Processes: PAC bounds and Exponential Improvements over Model-free Approaches

Wen Sun, Nan Jiang+3 more|arXiv (Cornell University)|Nov 21, 2018

Reinforcement Learning in Robotics参考文献 39被引用 17

一句话总结

本文提出了一种新型基于模型的强化学习算法，用于上下文决策过程，在可证明的样本效率方面实现改进，其核心是引入一种新的结构性参数——见证秩（witness rank）。研究表明，在因子化MDP中，基于模型的方法可实现多项式样本复杂度，而基于模型自由的方法——包括OLIVE——则面临指数级样本复杂度，从而在可实现性假设下建立了样本效率的指数级差距。

ABSTRACT

We study the sample complexity of model-based reinforcement learning (henceforth RL) in general contextual decision processes that require strategic exploration to find a near-optimal policy. We design new algorithms for RL with a generic model class and analyze their statistical properties. Our algorithms have sample complexity governed by a new structural parameter called the witness rank, which we show to be small in several settings of interest, including factored MDPs. We also show that the witness rank is never larger than the recently proposed Bellman rank parameter governing the sample complexity of the model-free algorithm OLIVE (Jiang et al., 2017), the only other provably sample-efficient algorithm for global exploration at this level of generality. Focusing on the special case of factored MDPs, we prove an exponential lower bound for a general class of model-free approaches, including OLIVE, which, when combined with our algorithmic results, demonstrates exponential separation between model-based and model-free RL in some rich-observation settings.

研究动机与目标

• 为具有丰富观测的一般上下文决策过程中的基于模型强化学习建立理论基础。
• 识别一种新的结构性参数——见证秩，用于控制基于模型强化学习中的样本复杂度。
• 证明在如因子化MDP等设置中，基于模型的方法可比基于模型自由的方法实现指数级更高的样本效率。
• 将见证秩与贝尔曼秩进行比较，表明其值从不大于贝尔曼秩，且可指数级更小。
• 为一般CDP提供首个在不依赖表格化或高度结构化控制理论假设下的可证明高效的基于模型算法。

提出的方法

• 提出一种在上下文决策过程中使用通用模型类M的基于模型强化学习的新算法。
• 引入见证秩作为结构性参数，用于界定样本复杂度，其源自贝尔曼误差框架中的见证模型偏差。
• 在各周期和迭代中采用分层采样与剔除策略，并根据置信区间自适应调整样本规模。
• 使用见证模型偏差函数W(M, M′, h)来衡量模型间的差异，该函数通过状态-动作分布的期望定义。
• 应用浓度不等式和联合界，以确保策略质量与模型估计的高概率保证。
• 分析指数族模型类，并证明贝尔曼支配性在常数范围内成立，从而支持在该类设置中使用见证秩。

实验结果

研究问题

• RQ1 在一般上下文决策过程中，基于模型的强化学习是否能显著优于基于模型自由的强化学习，实现更优的样本复杂度？
• RQ2 是否存在一种结构性参数，能够捕捉在表格化或控制理论设置之外的基于模型强化学习的样本复杂度？
• RQ3 在规模和算法影响方面，见证秩与贝尔曼秩相比如何？
• RQ4 在如因子化MDP等丰富观测设置中，尽管存在可实现性假设，基于模型自由的方法是否仍可能被证明效率低下？
• RQ5 在基于模型学习中，更强的可实现性假设与样本效率之间的理论权衡是什么？

主要发现

• 所提出的基于模型算法在因子化MDP中实现了多项式样本复杂度，而基于模型自由的方法（如OLIVE）则面临指数级样本复杂度。
• 见证秩从不大于贝尔曼秩，且可指数级更小，意味着更高的样本效率。
• 在因子化MDP中，见证秩较小，使得即使在高维观测下也能实现高效学习。
• 该算法保证：在真实模型属于模型类的前提下，任意输出策略以高概率为ϵ-最优。
• 对于指数族模型，见证模型偏差在常数因子内上界贝尔曼误差，验证了在实际设置中使用见证秩的合理性。
• 总样本复杂度为˜O((1 + log(4Wκ⋆/κ⋆))H³KW²κ⋆log(Ti⋆,₀|M||F|/δi⋆,i⋆)/(κ⋆ϵ)²)，其在相关参数中为多项式。