[论文解读] Continual Model-Based Reinforcement Learning with Hypernetworks

Yizhou Huang, Kevin Xie+2 more|arXiv (Cornell University)|Sep 25, 2020

Reinforcement Learning in Robotics参考文献 38被引用 6

一句话总结

本文提出 HyperCRL，一种基于持续模型的强化学习方法，利用任务条件超网络在不发生灾难性遗忘的情况下学习非平稳动力学。通过使用固定容量的超网络生成特定任务的动力学模型，并仅存储最近的经验，该方法在性能上可与多任务学习相媲美，同时在运动控制和操作任务中优于持续学习基线方法。

ABSTRACT

Effective planning in model-based reinforcement learning (MBRL) and model-predictive control (MPC) relies on the accuracy of the learned dynamics model. In many instances of MBRL and MPC, this model is assumed to be stationary and is periodically re-trained from scratch on state transition experience collected from the beginning of environment interactions. This implies that the time required to train the dynamics model - and the pause required between plan executions - grows linearly with the size of the collected experience. We argue that this is too slow for lifelong robot learning and propose HyperCRL, a method that continually learns the encountered dynamics in a sequence of tasks using task-conditional hypernetworks. Our method has three main attributes: first, it includes dynamics learning sessions that do not revisit training data from previous tasks, so it only needs to store the most recent fixed-size portion of the state transition experience; second, it uses fixed-capacity hypernetworks to represent non-stationary and task-aware dynamics; third, it outperforms existing continual learning alternatives that rely on fixed-capacity networks, and does competitively with baselines that remember an ever increasing coreset of past experience. We show that HyperCRL is effective in continual model-based reinforcement learning in robot locomotion and manipulation scenarios, such as tasks involving pushing and door opening. Our project website with videos is at this link https://rvl.cs.toronto.edu/blog/2020/hypercrl

研究动机与目标

• 解决持续模型强化学习（MBRL）中的可扩展性与灾难性遗忘问题，其中动力学模型需从头开始在不断增长的经验上重新训练。
• 实现在动态环境（如新地形或新物体）中的机器人终身学习，无需存储过去的状态转移数据或扩展模型容量。
• 开发一种固定容量、基于任务条件的动力学模型，可在不同任务间泛化，同时避免对先前学习任务的性能下降。
• 证明超网络能够有效表示 MBRL 中的任务特定动力学，实现高效规划与持续适应。

提出的方法

• 使用基于学习到的任务嵌入生成目标动力学模型权重的任务条件超网络，实现无需重新训练的特定任务动力学建模。
• 仅存储最近的固定大小经验缓冲区，避免保留全部历史数据。
• 使用最小化状态转移预测误差的损失函数，端到端训练超网络。
• 在规划时域内使用模型预测控制（MPC）与 CEM 优化，利用超网络生成的动力学模型进行轨迹滚动。
• 采用固定容量架构：超网络与目标动力学网络在任务间不增加大小，确保计算与内存效率。
• 引入任务边界信号以基于任务身份对超网络进行条件控制，实现无需任务无关检测的准确任务特定动力学建模。

实验结果

研究问题

• RQ1 固定容量的超网络是否能在不访问过去经验的情况下，生成准确的任务特定动力学模型？
• RQ2 在学习具有不同动力学特性的新任务序列时，所提方法是否能有效防止灾难性遗忘？
• RQ3 与持续学习基线方法（如 EWC、SI、coreset、微调）相比，HyperCRL 在性能保留与最终任务性能方面表现如何？
• RQ4 HyperCRL 是否能在避免存储或重新处理全部历史数据的前提下，实现接近多任务学习的性能？
• RQ5 该方法在真实机器人学习场景（如推动物体、开门、积木滑动）中的有效性如何？

主要发现

• HyperCRL 在所有任务上的性能保留方面优于 EWC、SI、coreset 和微调基线，平均回合奖励始终高于基线。
• 在 Pusher 环境中，HyperCRL 在完成全部 5 项任务训练后，平均回合奖励达到 109 ± 16，表现出正向的后向迁移，优于所有基线。
• 在 Door 环境中，HyperCRL 在各任务间保持近乎恒定的性能（归一化奖励 ≈ 1.0），遗忘极少，甚至优于多任务学习基线。
• 在 Block Sliding 环境中，HyperCRL 实现 73 ± 21 的平均奖励，尽管存在轻微的平均遗忘趋势，但仍优于所有持续学习基线。
• 该方法随时间推移表现出极小的性能退化，先前学习任务的奖励无显著下降，表明遗忘缓解效果良好。
• HyperCRL 的性能与可访问全部数据的多任务学习相当，同时仅需固定大小的经验缓冲区且无需扩展模型。