[论文解读] Model-based Reinforcement Learning: A Survey

Thomas M. Moerland, Joost Broekens+2 more|arXiv (Cornell University)|Jun 30, 2020

Complex Systems and Decision Making被引用 82

一句话总结

这篇论文综述基于模型的强化学习，详细阐述动力学模型学习与规划-学习的整合，包括隐式基于模型的 RL 及潜在收益。

ABSTRACT

Sequential decision making, commonly formalized as Markov Decision Process (MDP) optimization, is a important challenge in artificial intelligence. Two key approaches to this problem are reinforcement learning (RL) and planning. This paper presents a survey of the integration of both fields, better known as model-based reinforcement learning. Model-based RL has two main steps. First, we systematically cover approaches to dynamics model learning, including challenges like dealing with stochasticity, uncertainty, partial observability, and temporal abstraction. Second, we present a systematic categorization of planning-learning integration, including aspects like: where to start planning, what budgets to allocate to planning and real data collection, how to plan, and how to integrate planning in the learning and acting loop. After these two sections, we also discuss implicit model-based RL as an end-to-end alternative for model learning and planning, and we cover the potential benefits of model-based RL. Along the way, the survey also draws connections to several related RL fields, like hierarchical RL and transfer learning. Altogether, the survey presents a broad conceptual overview of the combination of planning and learning for MDP optimization.

研究动机与目标

• 解释基于模型的 RL 范式中规划与学习的整合。
• 对动力学模型的学习方式及所面临的挑战（随机性、不确定性、部分可观测性、非平稳性）进行分类。
• 系统性地讨论规划是如何与学习集成的，以及在学习循环中何时开始规划。
• 引入隐式基于模型的 RL 作为端到端的替代方案，并讨论潜在收益。

提出的方法

• 定义基于模型的 RL，并基于对动力学的访问与全局解的有无将其与规划和无模型 RL 区分开。
• 提供规划-学习整合的三种分类：带学习模型的基于模型的 RL、已知模型的基于模型的 RL，以及在学习的模型上进行规划。
• 回顾动力学模型学习，包括前向、后向和逆模型，并讨论估计方法（参数化与非参数化、精确与近似）。
• 讨论模型有效域（全局与局部）及其对规划与学习的影响。
• 应对建模中的挑战：随机性、不确定性、部分可观测性、非平稳性、多步预测、状态与时间抽象。
• 概述规划与学习整合的方法，包括规划起始状态、规划预算、规划方法，以及端到端学习的变体。

实验结果

研究问题

• RQ1 如何在 MDP 优化中将规划与学习整合，以形成有效的基于模型的 RL 算法？
• RQ2 动力学模型学习中的关键挑战及其应对（随机性、不确定性、部分可观测性、非平稳性）？
• RQ3 全局与局部模型有效域的权衡及其对规划和数据效率的影响？
• RQ4 应如何在学习循环中组织规划（何时规划、收集多少数据、如何规划）？

主要发现

• 基于模型的 RL 将动力学模型与全局解相结合，以提高样本效率。
• 在实际中，带参数近似的前向模型和全局覆盖是常见的。
• 部分可观测性和非平稳性需要诸如信念状态、递归与部分模型等专门技术。
• 多步预测挑战促使使用多步损失或专门的 n-step 模型以提高长时程的准确性。
• 规划可以在学习的模型上进行，同时学习策略/价值函数，或两者都进行；若仅在学习的模型上进行规划且没有学习全局解，则不被视为基于模型的 RL。
• 隐式基于模型的 RL 提供端到端的替代方案，仍然利用规划与建模的优势。