[论文解读] Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning

Kimin Lee, Younggyo Seo+3 more|arXiv (Cornell University)|May 14, 2020

Reinforcement Learning in Robotics被引用 28

一句话总结

本文提出了一种上下文感知的动力学模型（CaDM），通过学习编码环境动力学的上下文潜在向量，再利用该向量对下一状态预测进行条件化，从而在基于模型的强化学习中提升泛化能力。通过联合优化前向和反向动力学预测，CaDM在具有不同动力学特性的未见环境中实现了优越的泛化性能，优于集成方法和基于模型的元强化学习基线，在模拟机器人任务中表现更优。

ABSTRACT

Model-based reinforcement learning (RL) enjoys several benefits, such as data-efficiency and planning, by learning a model of the environment's dynamics. However, learning a global model that can generalize across different dynamics is a challenging task. To tackle this problem, we decompose the task of learning a global dynamics model into two stages: (a) learning a context latent vector that captures the local dynamics, then (b) predicting the next state conditioned on it. In order to encode dynamics-specific information into the context latent vector, we introduce a novel loss function that encourages the context latent vector to be useful for predicting both forward and backward dynamics. The proposed method achieves superior generalization ability across various simulated robotics and control tasks, compared to existing RL schemes.

研究动机与目标

• 提升基于模型的强化学习在具有不同转移动力学的环境中的泛化能力。
• 解决全局动力学模型在面对未见动力学变化时无法适应的局限性。
• 将上下文编码与动力学预测解耦，以实现在新环境中的快速适应。
• 设计一种损失函数，促使潜在上下文向量对前向和反向动力学预测均具有帮助。
• 证明所学习的上下文向量也能提升模型无关强化学习（如PPO）的泛化性能。

提出的方法

• 引入一种上下文编码器，从最近的状态-动作轨迹中生成潜在向量，以捕捉特定环境的动力学特征。
• 将潜在上下文向量作为条件输入到前向动力学模型中，以实现在未见环境中的在线适应。
• 设计一种新型损失函数，联合优化一步前向预测以及未来步长的前向与反向动力学预测。
• 增加时间一致性正则化，以确保上下文向量在相邻未来时间步中仍具有效性。
• 通过条件推理，使方法兼容任意动力学模型架构（如前馈网络或循环网络）。
• 通过将学习到的上下文向量作为额外输入馈送到策略网络中，将该方法扩展至模型无关强化学习。

实验结果

研究问题

• RQ1 上下文感知的动力学模型是否能提升在具有不同动力学特性的环境中的基于模型强化学习的泛化能力？
• RQ2 联合优化前向与反向动力学预测是否能获得比标准仅前向训练更优的上下文表征？
• RQ3 所学习的上下文向量是否能在无需微调的情况下实现对未见环境的有效适应？
• RQ4 该上下文向量在PPO等模型无关强化学习方法中，能在多大程度上提升泛化性能？
• RQ5 在应对动力学变化时，该方法与集成方法和基于模型的元强化学习相比，其鲁棒性如何？

主要发现

• CaDM在多个MuJoCo和OpenAI Gym任务中显著缩小了训练环境与测试环境之间的性能差距，优于集成方法和基于模型的元强化学习基线。
• 在质量参数变化的HalfCheetah环境中，CaDM在整个测试范围内均保持低预测误差，而基线方法PE-TS在训练分布外性能显著下降。
• 潜在向量的PCA可视化显示不同动力学模式（如不同摆杆质量）之间存在清晰分离，证实上下文向量捕捉到了有意义的环境上下文信息。
• CaDM的未来状态预测在长时序上仍保持高精度，而普通和堆叠动力学模型的预测精度迅速下降。
• 当作为PPO的输入时，CaDM在CrippledHalfCheetah和SlimHumanoid等复杂任务中提升了泛化性能，优于先前的上下文学习方法。
• 消融实验表明，同时包含前向与反向预测损失的设置实现了最佳泛化效果，验证了所提损失函数设计的有效性。