[论文解读] Offline Meta-Reinforcement Learning with Online Self-Supervision

Vitchyr H. Pong, Ashvin Nair+3 more|arXiv (Cornell University)|Jul 8, 2021

Reinforcement Learning in Robotics参考文献 58被引用 8

一句话总结

该论文提出SMAC，一种半监督离线元强化学习方法，通过收集未标注的在线轨迹并生成合成奖励以进行自监督微调，缓解分布偏移问题。该方法在具有挑战性的机器人操控与运动任务上实现了与完全在线元强化学习相当的性能，显著优于先前的离线元强化学习方法在自监督阶段后的表现。

ABSTRACT

Meta-reinforcement learning (RL) methods can meta-train policies that adapt to new tasks with orders of magnitude less data than standard RL, but meta-training itself is costly and time-consuming. If we can meta-train on offline data, then we can reuse the same static dataset, labeled once with rewards for different tasks, to meta-train policies that adapt to a variety of new tasks at meta-test time. Although this capability would make meta-RL a practical tool for real-world use, offline meta-RL presents additional challenges beyond online meta-RL or standard offline RL settings. Meta-RL learns an exploration strategy that collects data for adapting, and also meta-trains a policy that quickly adapts to data from a new task. Since this policy was meta-trained on a fixed, offline dataset, it might behave unpredictably when adapting to data collected by the learned exploration strategy, which differs systematically from the offline data and thus induces distributional shift. We propose a hybrid offline meta-RL algorithm, which uses offline data with rewards to meta-train an adaptive policy, and then collects additional unsupervised online data, without any reward labels to bridge this distribution shift. By not requiring reward labels for online collection, this data can be much cheaper to collect. We compare our method to prior work on offline meta-RL on simulated robot locomotion and manipulation tasks and find that using additional unsupervised online data collection leads to a dramatic improvement in the adaptive capabilities of the meta-trained policies, matching the performance of fully online meta-RL on a range of challenging domains that require generalization to new tasks.

研究动机与目标

• 为解决离线元强化学习中的分布偏移问题，即元学习策略无法适应探索策略收集的在线数据。
• 通过仅对离线数据进行一次奖励标注，实现高效的元强化学习训练，减少对昂贵在线奖励收集的依赖。
• 通过利用未标注的在线交互与合成生成的奖励，提升对新任务的泛化能力。
• 证明自监督在线数据收集可弥合离线与在线元强化学习之间的性能差距。
• 验证上下文向量（z）中的分布偏移是离线元强化学习中的关键失败模式。

提出的方法

• SMAC 使用预先收集的、带有奖励标注的离线数据集，通过PEARL框架元训练策略，实现通过潜在上下文向量（z）的快速适应。
• 离线元训练完成后，智能体使用元学习的探索策略收集额外的未标注在线轨迹。
• 在离线数据上训练奖励预测头，以生成未标注在线轨迹的合成奖励。
• 利用合成奖励通过AWAC风格的更新对元策略进行微调，实现对新数据分布的自监督适应。
• 该方法结合了PEARL的近似推理与AWAC的离线强化学习优化，实现样本高效的适应。
• 上下文向量（z）基于离线或在线历史进行条件化，以评估分布偏移与适应鲁棒性。

实验结果

研究问题

• RQ1 离线数据与在线探索轨迹之间上下文向量（z）的分布偏移是否会导致元强化学习性能下降？
• RQ2 使用合成奖励的自监督在线数据收集能否缓解此分布偏移并提升对新任务的适应能力？
• RQ3 SMAC在零样本泛化到未见任务方面，与完全在线元强化学习和先前的离线元强化学习方法相比如何？
• RQ4 自监督微调带来的性能提升是源于更好的适应能力，还是源于更优的探索策略？
• RQ5 半监督方法能否在最小化人工提供的奖励标注的同时，实现与在线元强化学习相当的性能？

主要发现

• SMAC 在所有六个基准任务上显著优于先前的离线元强化学习方法，包括具有挑战性的Sawyer操控环境，如BOReL和MACAW。
• 在自监督微调后，SMAC 在所有任务上的性能与完全在线元强化学习相当，证明了对分布偏移的有效缓解。
• 在Ant Direction任务中，自监督后策略的行为对离线和在线上下文历史均表现出鲁棒性，消除了先前存在的性能差距。
• 自监督阶段带来的性能提升超过仅更新演员的消融实验，表明缓解分布偏移是成功的关键。
• SMAC 在所有任务上均优于元模仿学习基线，表明自监督适应在泛化方面优于模仿学习。
• 可视化结果证实，适应过程对历史分布（离线 vs. 在线）敏感，而自监督有效解决了这种敏感性。