[论文解读] Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey

Aske Plaat, Walter A. Kosters+1 more|arXiv (Cornell University)|Aug 11, 2020

Reinforcement Learning in Robotics参考文献 132被引用 7

一句话总结

本综述全面概述了高维问题中深度模型强化学习的最新进展，将方法分为三类：基于给定转移的规划、基于学习的动力学模型的规划，以及规划与转移的端到端学习。文章强调了潜在模型、不确定性建模和课程学习等关键技术，并指出了在样本效率、迁移学习和多智能体系统方面的未来研究方向。

ABSTRACT

Deep reinforcement learning has shown remarkable success in the past few years. Highly complex sequential decision making problems have been solved in tasks such as game playing and robotics. Unfortunately, the sample complexity of most deep reinforcement learning methods is high, precluding their use in some important applications. Model-based reinforcement learning creates an explicit model of the environment dynamics to reduce the need for environment samples. Current deep learning methods use high-capacity networks to solve high-dimensional problems. Unfortunately, high-capacity models typically require many samples, negating the potential benefit of lower sample complexity in model-based methods. A challenge for deep model-based methods is therefore to achieve high predictive power while maintaining low sample complexity. In recent years, many model-based methods have been introduced to address this challenge. In this paper, we survey the contemporary model-based landscape. First we discuss definitions and relations to other fields. We propose a taxonomy based on three approaches: using explicit planning on given transitions, using explicit planning on learned transitions, and end-to-end learning of both planning and transitions. We use these approaches to organize a comprehensive overview of important recent developments such as latent models. We describe methods and benchmarks, and we suggest directions for future work for each of the approaches. Among promising research directions are curriculum learning, uncertainty modeling, and use of latent models for transfer learning.

研究动机与目标

• 为解决深度强化学习在高维环境（尤其是机器人和复杂控制任务）中样本复杂度过高的问题。
• 分析基于模型的深度强化学习如何通过学习精确的动力学模型来减少与环境的交互样本数量。
• 识别在不增加样本复杂度的前提下，训练高容量深度网络进行动力学建模所面临的挑战。
• 探索潜在表征、不确定性估计和课程学习在提升样本效率和泛化能力方面的作用。
• 为基于模型的深度强化学习未来研究提供结构化分类法和路线图，特别是在迁移学习和多智能体场景中。

提出的方法

• 提出将基于模型的深度强化学习划分为三类：(1) 基于给定转移的规划，(2) 基于学习转移的规划，(3) 规划与动力学的端到端学习。
• 回顾利用潜在空间表征（如变分自编码器 VAEs、生成对抗网络 GANs）将高维观测压缩为低维可学习动力学模型的方法。
• 强调可微分规划组件，如受经典控制架构启发的可微神经网络规划器。
• 讨论不确定性建模（如使用集成方法或贝叶斯神经网络）的整合，以提升鲁棒性和样本效率。
• 突出课程学习策略，通过逐步增加任务复杂度来加速高维领域中的训练。
• 回顾多智能体基准测试，如《星际争霸》（StarCraft）、DOTA 和《夺旗》（Capture the Flag），其中基于模型的方法与自博弈（self-play）和分层规划相结合。

实验结果

研究问题

• RQ1 如何在不抵消基于模型强化学习样本效率优势的前提下，高效训练高容量深度网络用于动力学建模？
• RQ2 潜在空间表征在提升高维控制任务中的泛化能力和降低样本复杂度方面发挥什么作用？
• RQ3 不确定性估计如何增强基于模型的深度强化学习智能体的可靠性与样本效率？
• RQ4 课程学习在复杂高维环境中如何加速基于模型智能体的训练？
• RQ5 端到端学习规划与动力学（尤其是结合潜在模型）在哪些方面能够实现迁移学习和多智能体协作？

主要发现

• 如变分自编码器（VAEs）和生成对抗网络（GANs）等潜在模型已能有效将高维观测压缩为紧凑且可学习的表征，从而提升训练效率。
• 结合潜在动力学模型的端到端可微分规划在 World Models 等任务中取得成功，实现了视觉、记忆与控制的联合优化。
• 具备不确定性感知能力的模型，特别是基于集成的方法，通过减少预测中的过度自信，提升了基于模型强化学习的样本效率和鲁棒性。
• 将课程学习与潜在模型学习相结合，可在机器人操作和视频游戏等复杂环境中实现更快收敛和更好泛化。
• 《星际争霸》（StarCraft）和 DOTA 等多智能体基准测试表明，结合自博弈与分层规划的基于模型强化学习，可在复杂战略场景中实现有效的协作与竞争。
• 基准测试已从简单的网格世界发展为复杂的实时战略游戏和机器人操作任务，反映出该领域日益成熟和复杂化。