[论文解读] How Does an Approximate Model Help in Reinforcement Learning?

Fei Feng, Wotao Yin+1 more|arXiv (Cornell University)|Dec 6, 2019

Reinforcement Learning in Robotics参考文献 29被引用 6

一句话总结

本文证明，在强化学习中，近似模型可通过基于价值的剪枝策略，使算法能够剔除次优动作，从而降低样本复杂度。该文给出了样本复杂度的紧致上界 $\widetilde{O}(\overline{N}/(1-\gamma)^3\varepsilon^2)$，其中 $\overline{N}$ 表示近似模型中近似最优动作的数量，并证明了相应的匹配下界，表明该方法的有效性在根本上受制于先验模型中的价值差距。

ABSTRACT

One of the key approaches to save samples in reinforcement learning (RL) is to use knowledge from an approximate model such as its simulator. However, how much does an approximate model help to learn a near-optimal policy of the true unknown model? Despite numerous empirical studies of transfer reinforcement learning, an answer to this question is still elusive. In this paper, we study the sample complexity of RL while an approximate model of the environment is provided. For an unknown Markov decision process (MDP), we show that the approximate model can effectively reduce the complexity by eliminating sub-optimal actions from the policy searching space. In particular, we provide an algorithm that uses $\widetilde{O}(N/(1-γ)^3/\varepsilon^2)$ samples in a generative model to learn an $\varepsilon$-optimal policy, where $γ$ is the discount factor and $N$ is the number of near-optimal actions in the approximate model. This can be much smaller than the learning-from-scratch complexity $\widetildeΘ(SA/(1-γ)^3/\varepsilon^2)$, where $S$ and $A$ are the sizes of state and action spaces respectively. We also provide a lower bound showing that the above upper bound is nearly-tight if the value gap between near-optimal actions and sub-optimal actions in the approximate model is sufficiently large. Our results provide a very precise characterization of how an approximate model helps reinforcement learning when no additional assumption on the model is posed.

研究动机与目标

• 理解在不作任何结构假设的情况下，近似模型在强化学习中能将样本复杂度降低多少。
• 刻画通过近似模型进行迁移学习时，能实现显著样本效率提升的条件。
• 建立依赖于近似模型中近似最优动作数量的样本复杂度上下界。
• 表明近似模型的收益在根本上受限于先验模型中动作间的价值差距。

提出的方法

• 该算法利用先验模型 $\mathcal{M}_0$，基于总变差距离下的值函数相似性，识别出潜在最优动作——即在真实模型 $\mathcal{M}$ 中可能为最优的动作。
• 它将探索范围限制在这些潜在最优动作上，从而减小有效动作空间，降低样本复杂度。
• 上界通过生成模型设定和集中不等式推导得出，其中 $\overline{N}$ 表示所有状态中此类动作的总数。
• 通过上下文带模型中的困难实例构造下界，表明为达到 $\varepsilon$-最优性，至少需要探索 $\underline{N}$ 个动作。
• 分析依赖于一个关键事实：$\mathcal{M}_0$ 与 $\mathcal{M}$ 之间总变差距离较小，意味着值函数的 $\|\cdot\|_\infty$-范数距离也较小。
• 在帆船MDP上的实验验证表明，当价值差距较小时，即使使用先验知识，性能提升也有限，且 $\varepsilon$ 越小，提升越不明显。

实验结果

研究问题

• RQ1 在马尔可夫决策过程中，近似模型最多能将学习 $\varepsilon$-最优策略的样本复杂度降低多少？
• RQ2 在何种条件下，近似模型无法提供显著的样本效率增益？
• RQ3 当先验模型与真实模型之间的总变差距离有界时，样本复杂度的最紧致上下界是什么？
• RQ4 近似模型中的价值差距如何影响强化学习中迁移学习的有效性？

主要发现

• 所提算法实现了 $\widetilde{O}(\overline{N}/(1-\gamma)^3\varepsilon^2)$ 的样本复杂度，其中 $\overline{N}$ 为近似模型中近似最优动作的数量，当 $\overline{N} \ll SA$ 时，复杂度显著降低。
• 上界近乎紧致，因为已建立匹配的下界 $\Omega(\underline{N}/(1-\gamma)^3\varepsilon^2)$，其中 $\underline{N}$ 表征必须探索的最少动作数。
• 当先验模型 $\mathcal{M}_0$ 中的价值差距较大时，上下界近乎紧致，意味着需探索的动作数可被 $\overline{N}$ 良好近似。
• 当价值差距较小时，近似模型的优势减弱，样本复杂度趋近于从零开始学习的复杂度，即使有先验知识亦然。
• 下界在生成模型和在线强化学习设置中均成立，表明在总变差距离约束下，迁移学习存在根本性限制。
• 在帆船MDP上的实验结果验证了理论最坏情况分析：当 $\varepsilon$ 较小时，先验知识仅能提供“起步优势”，性能提升有限。