[论文解读] Representation Matters: Offline Pretraining for Sequential Decision Making

Mengjiao Yang, Ofir Nachum|arXiv (Cornell University)|Feb 11, 2021

Reinforcement Learning in Robotics参考文献 49被引用 22

一句话总结

本文提出在离线数据集上使用对比自预测进行状态表征的预训练，以提升下游序列决策任务的性能。通过从状态、动作和奖励的子轨迹中学习不变且具有预测能力的表征，该方法在模仿学习、离线强化学习和在线强化学习中均显著提升性能，表明表示学习可作为多种强化学习场景下数据高效策略学习的强大基础。

ABSTRACT

The recent success of supervised learning methods on ever larger offline datasets has spurred interest in the reinforcement learning (RL) field to investigate whether the same paradigms can be translated to RL algorithms. This research area, known as offline RL, has largely focused on offline policy optimization, aiming to find a return-maximizing policy exclusively from offline data. In this paper, we consider a slightly different approach to incorporating offline data into sequential decision-making. We aim to answer the question, what unsupervised objectives applied to offline datasets are able to learn state representations which elevate performance on downstream tasks, whether those downstream tasks be online RL, imitation learning from expert demonstrations, or even offline policy optimization based on the same offline dataset? Through a variety of experiments utilizing standard offline RL datasets, we find that the use of pretraining with unsupervised learning objectives can dramatically improve the performance of policy learning algorithms that otherwise yield mediocre performance on their own. Extensive ablations further provide insights into what components of these unsupervised objectives -- e.g., reward prediction, continuous or discrete representations, pretraining or finetuning -- are most important and in which settings.

研究动机与目标

• 探究在离线数据集上进行无监督表示学习是否能提升多种下游序列决策任务的性能。
• 确定哪些无监督目标（尤其是对比自预测）能为策略学习生成最有效的状态表征。
• 使用标准的D4RL基准评估表示学习对模仿学习、离线强化学习和在线强化学习的影响。
• 识别表示学习中哪些组件（如动作/奖励预测、网络架构、微调策略）对性能影响最大。
• 为不同强化学习范式中某些表示目标为何泛化能力更强提供实证见解。

提出的方法

• 使用离线数据的子轨迹上的对比自预测，预训练神经网络编码器 φ(s)，将原始观测映射为固定长度的嵌入表征。
• 采用对比损失，最大化正样本对（如状态和动作序列与下一个状态）的一致性，同时最小化负样本对的一致性。
• 将预训练的表征 φ(s) 作为模仿学习、离线强化学习和在线强化学习设置中下游策略网络的输入。
• 评估多种对比目标变体，包括预测动作和奖励的目标，采用不同架构（如Transformer）和训练策略（如微调、动量网络）。
• 进行消融研究，以隔离包含动作/奖励、使用双向Transformer、上下文嵌入和辅助训练损失等因素的影响。
• 由于其出色的实证性能，采用基于Transformer的ACL目标实现作为消融研究的基线骨架。

实验结果

研究问题

• RQ1 在离线数据集上进行无监督表示学习是否能提升下游模仿学习、离线强化学习和在线强化学习的性能？
• RQ2 哪些具体的无监督目标——尤其是对比自预测——能在不同强化学习任务中生成最有效的状态表征？
• RQ3 动作/奖励预测、网络架构和微调策略等组件如何影响下游性能？
• RQ4 在NLP或在线强化学习中表现良好的表示学习目标，是否能有效泛化到离线强化学习设置？
• RQ5 是否存在一个在所有下游任务中均表现优异的最优表示目标，还是性能取决于任务类型？

主要发现

• 对比自预测目标——尤其是从状态和动作序列中预测未来状态的目标——在所有下游任务中（包括模仿学习、离线强化学习和在线强化学习）均带来显著的性能提升。
• 模仿学习从仅状态的对比学习中获益最多，而离线和在线强化学习在预测目标中包含动作和奖励时表现更优。
• 从表征 φ(s) 中重建动作和奖励在强化学习设置中能持续提升性能，但会降低模仿学习的性能，表明不同目标之间存在权衡。
• 上下文嵌入和双向Transformer（在NLP中常见）在模仿学习中始终导致性能下降，在强化学习中结果则不一致，表明它们在离线强化学习中并非普遍有益。
• 在在线强化学习中将表示目标作为辅助损失使用可提升性能，但在离线强化学习中会严重降低性能，凸显了在线与离线训练动态之间的关键不匹配。
• 微调表示网络在某些领域可提升在线强化学习性能，但在模仿学习和离线强化学习中仅导致轻微下降，表明其对任务具有敏感性。