[论文解读] Contextual Transformer for Offline Meta Reinforcement Learning

Runji Lin, Ye Li+7 more|arXiv (Cornell University)|Nov 15, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出上下文元变换器（CMT），一种新颖的离线元强化学习框架，通过在离线轨迹上利用提示调优（prompt tuning）和自监督预训练，提升策略的泛化能力。通过将任务特定上下文视为提示，CMT 实现了在 D4RL、MuJoCo 和 SMAC 基准测试中对未见过任务的零样本适应，且性能更优。

ABSTRACT

The pretrain-finetuning paradigm in large-scale sequence models has made significant progress in natural language processing and computer vision tasks. However, such a paradigm is still hindered by several challenges in Reinforcement Learning (RL), including the lack of self-supervised pretraining algorithms based on offline data and efficient fine-tuning/prompt-tuning over unseen downstream tasks. In this work, we explore how prompts can improve sequence modeling-based offline reinforcement learning (offline-RL) algorithms. Firstly, we propose prompt tuning for offline RL, where a context vector sequence is concatenated with the input to guide the conditional policy generation. As such, we can pretrain a model on the offline dataset with self-supervised loss and learn a prompt to guide the policy towards desired actions. Secondly, we extend our framework to Meta-RL settings and propose Contextual Meta Transformer (CMT); CMT leverages the context among different tasks as the prompt to improve generalization on unseen tasks. We conduct extensive experiments across three different offline-RL settings: offline single-agent RL on the D4RL dataset, offline Meta-RL on the MuJoCo benchmark, and offline MARL on the SMAC benchmark. Superior results validate the strong performance, and generality of our methods.

研究动机与目标

• 解决离线强化学习中缺乏自监督预训练与高效微调的问题。
• 通过将任务上下文编码为可学习提示，提升元强化学习中的零样本与少样本泛化能力。
• 通过使用上下文提示，将基于序列建模的离线强化学习扩展至元强化学习设置，以提升策略迁移性能。
• 开发一个统一框架，在离线数据上进行预训练，并通过提示调优适应多样化的下游任务。

提出的方法

• 使用策略提示的自回归重建损失，在离线轨迹上预训练基于 Transformer 的模型。
• 引入提示调优：将可学习的上下文向量与输入序列拼接，以条件化策略生成。
• 使用对比损失对相似轨迹进行聚类，并为不同行为学习判别性提示。
• 在微调过程中应用行为约束，以防止分布偏移与过拟合。
• 通过使用任务特定的上下文序列作为提示，将框架扩展至元强化学习，实现零样本适应。
• 在提示优化过程中利用世界模型进行规划，以提升奖励寻求行为。

实验结果

研究问题

• RQ1 提示调优是否能提升离线强化学习中的样本效率与性能？
• RQ2 提示调优在实现未见过的元强化学习任务之间零样本适应方面有多高效？
• RQ3 对比损失与行为约束对提示质量与策略泛化能力有何影响？
• RQ4 序列建模方法是否能有效解决离线元强化学习问题，且仅需极少的任务特定微调？
• RQ5 任务提示的质量（例如：专家级、中等质量、无上下文）如何影响零样本性能？

主要发现

• 与无提示调优的基线模型相比，提示调优使平均回报提升了 65.8%。
• 对比损失至关重要：当其系数降低至 10^-6 时，平均回报下降 50.9%，原因是提示聚类效果差。
• 行为约束必不可少：若移除该约束（系数 = 0），性能下降 128%，表明出现严重过拟合。
• 与使用在线上下文的零样本适应相比，使用离线任务提示（中等或专家质量）分别使性能提升 4% 和 7%。
• 包含所有组件的完整 CMT 模型在 D4RL、MuJoCo 和 SMAC 基准测试中达到最先进性能。
• CMT 是首个基于序列建模的离线元强化学习方法，在多样化环境中展现出强大的泛化能力。