[论文解读] On the Sample Complexity of Reinforcement Learning with a Generative Model

Mohammad Gheshlaghi Azar, Rémi Munos+1 more|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 19被引用 41

一句话总结

本文在折扣马尔可夫决策过程的生成模型设定下，首次建立了强化学习的紧致样本复杂度边界。它证明了基于模型的值迭代算法在以概率 1−δ 达到 ε-最优性时，所需样本数为 O(N log(N/δ)/((1−γ)^3ε²))，并给出了匹配的下界，表明该速率在 N、ε、δ 和 1/(1−γ) 方面均为最优。

ABSTRACT

We consider the problem of learning the optimal action-value function in the discounted-reward Markov decision processes (MDPs). We prove a new PAC bound on the sample-complexity of model-based value iteration algorithm in the presence of the generative model, which indicates that for an MDP with N state-action pairs and the discount factor γ\in[0,1) only O(N\log(N/δ)/((1-γ)^3ε^2)) samples are required to find an ε-optimal estimation of the action-value function with the probability 1-δ. We also prove a matching lower bound of Θ(N\log(N/δ)/((1-γ)^3ε^2)) on the sample complexity of estimating the optimal action-value function by every RL algorithm. To the best of our knowledge, this is the first matching result on the sample complexity of estimating the optimal (action-) value function in which the upper bound matches the lower bound of RL in terms of N, ε, δand 1/(1-γ). Also, both our lower bound and our upper bound significantly improve on the state-of-the-art in terms of 1/(1-γ).

研究动机与目标

• 在存在生成模型的前提下，建立强化学习样本复杂度的紧致理论边界。
• 分析基于模型的值迭代算法在学习最优动作值函数方面的样本效率。
• 弥合在生成模型假设下，现有样本复杂度上界与下界之间的差距。
• 证明样本复杂度中对 1/(1−γ) 的依赖关系是紧致的，显著优于以往结果。
• 提供在 N、ε、δ 和 1/(1−γ) 方面完全匹配的上下界，首次在该设定下实现样本复杂度的紧致刻画。

提出的方法

• 在生成模型设定下分析基于模型的值迭代算法，其中转移和奖励从随机模拟器中采样。
• 利用集中不等式，推导出值函数估计误差的新型 PAC 风格泛化界。
• 通过对 N 个状态-动作对应用一致收敛性论证，以界定向样本 Q 值与真实 Q 值之间的偏差。
• 构造一个困难的 MDP 实例，以证明样本复杂度的下界，表明任何强化学习算法都无法优于 Ω(N log(N/δ)/((1−γ)^3ε²)) 个样本。
• 使用极小化极大论证和信息论技术推导下界，使其在所有参数上与上界完全匹配。
• 证明样本复杂度中对 1/(1−γ) 的依赖关系是紧致的，优于以往文献中依赖关系较松的结果。

实验结果

研究问题

• RQ1 在具有生成模型的 MDP 中，学习最优动作值函数的最优样本复杂度是多少？
• RQ2 基于模型的值迭代算法的样本复杂度上界是否能在所有相关参数上被下界完全匹配？
• RQ3 对折扣因子 γ 的依赖关系如何影响样本复杂度？该依赖关系是否紧致？
• RQ4 所提出的上界在 1/(1−γ) 因子方面是否优于当前最先进的结果？
• RQ5 在生成模型假设下，基于模型的值迭代算法的样本复杂度是否对所有强化学习算法都是最优的？

主要发现

• 基于模型的值迭代算法在以概率 1−δ 达到 ε-最优动作值函数时，需要 O(N log(N/δ)/((1−γ)^3ε²)) 个样本。
• 证明了匹配的下界 Ω(N log(N/δ)/((1−γ)^3ε²))，表明在 N、ε、δ 和 1/(1−γ) 方面，任何强化学习算法都无法实现更优的样本复杂度。
• 该上界显著优于以往结果，通过紧致化对 1/(1−γ) 的依赖关系，该依赖关系在文献中此前并非最优。
• 这是首项在生成模型设定下，对最优（动作）值函数估计的样本复杂度实现上下界完全匹配的工作。
• 该结果表明，样本复杂度本质上受限于状态-动作对数量 N、置信度 δ、精度 ε 和折扣因子 γ。
• 分析确认 1/(1−γ)^3 的缩放关系是不可避免且最优的，解决了强化学习中生成模型样本复杂度领域长期存在的开放问题。