[论文解读] Learning Dynamics Models for Model Predictive Agents

Michael Lutter, Leonard Hasenclever+6 more|arXiv (Cornell University)|Sep 29, 2021

Reinforcement Learning in Robotics参考文献 54被引用 4

一句话总结

本文系统评估了在模型预测控制中学习动力学模型的设计选择，基于在五个DeepMind Control Suite环境中的无模型智能体数据进行监督训练。研究发现，均方误差对规划性能的预测能力较差，并识别出最优配置——如确定性模型采用多步损失与集成方法，随机性模型采用输入噪声与大规模集成——从而实现接近真实性能的高奖励、稳定规划。

ABSTRACT

Model-Based Reinforcement Learning involves learning a extit{dynamics model} from data, and then using this model to optimise behaviour, most often with an online extit{planner}. Much of the recent research along these lines presents a particular set of design choices, involving problem definition, model learning and planning. Given the multiple contributions, it is difficult to evaluate the effects of each. This paper sets out to disambiguate the role of different design choices for learning dynamics models, by comparing their performance to planning with a ground-truth model -- the simulator. First, we collect a rich dataset from the training sequence of a model-free agent on 5 domains of the DeepMind Control Suite. Second, we train feed-forward dynamics models in a supervised fashion, and evaluate planner performance while varying and analysing different model design choices, including ensembling, stochasticity, multi-step training and timestep size. Besides the quantitative analysis, we describe a set of qualitative findings, rules of thumb, and future research directions for planning with learned dynamics models. Videos of the results are available at https://sites.google.com/view/learning-better-models.

研究动机与目标

• 隔离并评估在模型预测控制中学习动力学模型时各项设计选择的影响。
• 识别训练前馈神经网络动力学模型以实现高性能规划的最佳实践。
• 评估模型精度（如MSE）是否与复杂控制任务中实际规划性能相关。
• 研究高维系统（如人形机器人）中的失败模式，如模型利用和不稳定性。
• 为基于模型的强化学习中的模型学习提供可操作的指导，尤其适用于实际部署。

提出的方法

• 从预训练的无模型智能体在DeepMind Control Suite的五个连续控制环境中收集了丰富的数据集。
• 以监督方式训练前馈神经网络，利用状态和动作作为输入，预测状态转移。
• 在不同设计选择下评估规划器性能：确定性与随机性模型、单步与多步损失、集成使用，以及输入噪声增强。
• 使用固定规划时域的模型预测控制（MPC）评估性能，将学习到的模型与真实模拟器进行对比。
• 通过预期和实际累积奖励量化规划性能，并分析奖励差异以检测模型利用现象。
• 对开环轨迹进行定性分析，评估长期预测保真度和稳定性。

实验结果

研究问题

• RQ1 不同的模型学习设计选择（如随机性、多步损失、集成和输入噪声）如何影响模型预测控制中的规划性能？
• RQ2 在使用学习到的动力学模型时，均方误差（MSE）在多大程度上与实际规划性能相关？
• RQ3 为何某些模型在高维系统（如人形机器人）中失败，即使它们在简单任务中表现良好？
• RQ4 输入噪声在提升模型鲁棒性方面发挥什么作用，特别是对随机性模型而言？
• RQ5 是否可以通过分析预期回报与实际回报之间的奖励差异，检测并缓解模型利用现象？

主要发现

• 无论单步还是多步，均方误差（MSE）都不是规划性能的可靠预测指标，因为MSE较高的模型仍可实现高奖励。
• 对于确定性模型，结合多步损失与模型集成是实现高性能且稳定规划的关键。
• 随机性模型需要在训练中同时采用大尺寸集成和输入噪声，才能实现高奖励，其中输入噪声对如“杯子中的球”等任务尤为关键。
• 人形机器人环境在所有学习到的模型中均持续失败，表现为开环轨迹发散且奖励估计极度乐观。
• 模型利用现象普遍存在，尤其在具有强非线性的系统（如接触动力学）中，规划器因在不连续区域建模不准确而高估未来奖励。
• 尽管MSE较高，某些模型——尤其是时间步长较粗的模型——仍能实现高奖励，表明精确轨迹建模的重要性低于确保结构正确性（如防止‘球在杯中’任务中的隧道效应）。