[论文解读] Learning Dynamics Model in Reinforcement Learning by Incorporating the Long Term Future

Nan Rosemary Ke, Amanpreet Singh+5 more|arXiv (Cornell University)|Mar 5, 2019

Reinforcement Learning in Robotics参考文献 54被引用 17

一句话总结

该论文提出了一种基于模型的强化学习中的潜在变量自回归模型，通过引入辅助损失和反向RNN，利用未来信息改进长期预测。通过训练模型预测长时序动态，实现更精确的规划与探索，在PickUnlock和CarRacing等任务中，相比基线方法更快获得更高的累积奖励。

ABSTRACT

In model-based reinforcement learning, the agent interleaves between model learning and planning. These two components are inextricably intertwined. If the model is not able to provide sensible long-term prediction, the executed planner would exploit model flaws, which can yield catastrophic failures. This paper focuses on building a model that reasons about the long-term future and demonstrates how to use this for efficient planning and exploration. To this end, we build a latent-variable autoregressive model by leveraging recent ideas in variational inference. We argue that forcing latent variables to carry future information through an auxiliary task substantially improves long-term predictions. Moreover, by planning in the latent space, the planner's solution is ensured to be within regions where the model is valid. An exploration strategy can be devised by searching for unlikely trajectories under the model. Our method achieves higher reward faster compared to baselines on a variety of tasks and environments in both the imitation learning and model-based reinforcement learning settings.

研究动机与目标

• 解决因单步预测不准确导致的基于模型强化学习中的误差累积问题。
• 通过让模型推理未来状态而非仅即时转移，提升长期预测的准确性。
• 通过确保预测始终基于有效且高概率的轨迹，实现高效规划与探索。
• 证明建模长期动态可加速策略学习并提升复杂环境中的样本效率。

提出的方法

• 采用带有潜在变量的变分推理框架，以建模序列观测与动作。
• 引入反向RNN，使潜在变量的后验分布依赖于未来观测，从而注入长期上下文信息。
• 引入辅助损失，正则化潜在变量以预测未来的摘要信息，提升长时序泛化能力。
• 使用最大似然与教师强制进行模型训练，但通过未来感知的潜在表示缓解误差累积。
• 在潜在空间中执行规划，确保生成轨迹处于模型的有效分布范围内。
• 设计一种基于识别模型下低概率轨迹的探索策略，引导智能体前往新颖状态。

实验结果

研究问题

• RQ1 建模长期未来动态是否能提升基于模型强化学习中的规划与策略学习？
• RQ2 将未来信息注入潜在变量是否能减少序列模型中的误差累积？
• RQ3 训练模型预测长时序转移是否能实现更有效的探索与更快收敛？
• RQ4 与标准单步预测相比，未来感知的潜在建模在长时序视频生成与规划性能方面表现如何？
• RQ5 模型能否通过在关键里程碑处预测误差的显著下降，检测出子目标？

主要发现

• 在CarRacing任务的长时序视频预测中，该方法的负对数似然（NLL）达到-526.0，显著优于循环解码器（NLL：-352.8）。
• 在PickUnlock任务中，该模型始终获得高于循环策略基线的累积奖励，表明其学习速度更快且样本效率更高。
• 当智能体到达关键子目标（如找到钥匙或解锁门）时，模型显示出预测误差的显著下降，表明其具备有效的子目标检测能力。
• 模型生成的视觉图像呈现出连贯且复杂的场景，包括弯曲的道路与完整结构，而基线模型生成的图像则存在不完整或直线道路的问题。
• 在稀疏奖励的轮式运动控制任务中，该模型优于Sectar基线，而Sectar基线本身也优于A3C、TRPO、Option Critic、FeUdal与VIME。
• 基于低概率轨迹的探索策略成功引导智能体进入未探索区域，显著提升了样本效率。