[论文解读] Language Reward Modulation for Pretraining Reinforcement Learning

Ademi Adeniji, Amber Xie+4 more|arXiv (Cornell University)|Aug 23, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

LAMP 提出在强化学习预训练过程中，利用冻结的视觉-语言模型（VLM）生成多样化、语言条件化的探索奖励，将 VLM 奖励与新颖性导向的内在奖励相结合，以学习一种通用的、语言条件化的策略。该方法在 RLBench 上的下游机器人操作任务中显著降低了样本复杂度，展现出强大的零样本迁移能力，并对提示词变化具有鲁棒性。

ABSTRACT

Using learned reward functions (LRFs) as a means to solve sparse-reward reinforcement learning (RL) tasks has yielded some steady progress in task-complexity through the years. In this work, we question whether today's LRFs are best-suited as a direct replacement for task rewards. Instead, we propose leveraging the capabilities of LRFs as a pretraining signal for RL. Concretely, we propose $ extbf{LA}$nguage Reward $ extbf{M}$odulated $ extbf{P}$retraining (LAMP) which leverages the zero-shot capabilities of Vision-Language Models (VLMs) as a $ extit{pretraining}$ utility for RL as opposed to a downstream task reward. LAMP uses a frozen, pretrained VLM to scalably generate noisy, albeit shaped exploration rewards by computing the contrastive alignment between a highly diverse collection of language instructions and the image observations of an agent in its pretraining environment. LAMP optimizes these rewards in conjunction with standard novelty-seeking exploration rewards with reinforcement learning to acquire a language-conditioned, pretrained policy. Our VLM pretraining approach, which is a departure from previous attempts to use LRFs, can warmstart sample-efficient learning on robot manipulation tasks in RLBench.

研究动机与目标

• 为解决复杂环境中稀疏奖励强化学习的挑战，通过将学习到的奖励函数作为预训练信号而非直接的任务奖励来实现。
• 探究视觉-语言模型（VLM）是否可作为可扩展的、零样本的奖励生成器，用于预训练多样化、语言条件化的行为。
• 通过利用来自 VLM 的语义结构化奖励，预训练多样化、语义引导的奖励，以减少下游强化学习微调的样本复杂度。
• 研究 VLM 生成的奖励与内在探索目标（如 Plan2Explore）之间的协同效应，以提升预训练效率。
• 评估该预训练方法在不同提示策略和 VLM 架构下的鲁棒性与可迁移性。

提出的方法

• LAMP 通过优化 VLM 生成的语言条件化奖励与 Plan2Explore 的内在新颖性探索奖励的组合，对策略进行预训练。
• 利用冻结的、预训练的 VLM 计算图像观测与多样化语言指令之间的对比对齐，生成结构化的探索奖励。
• 奖励参数化为视觉和语言差分嵌入的点积：$ r_i = (F_\phi(s_i) - F_\phi(s_0)) \cdot (L_\alpha(\mathbf{x}) - L_\alpha(\mathbf{x}_0)) $，其中 $ F_\phi $ 和 $ L_\alpha $ 为冻结的 CLIP 编码器。
• 预训练采用多任务、语言条件化的强化学习目标，以学习一种可微调至下游任务的通用策略。
• 该方法利用 VLM 的零样本能力，实现无需人工设计奖励函数或领域特定调优的可扩展奖励生成。
• 在微调后评估 RLBench 任务上的性能，比较不同提示风格和 VLM 的表现。

Figure 1 : LAMP Framework . Given a diverse set of tasks generated by hand or by a LLM, we extract VLM rewards for language-conditioned RL pretraining. At finetuning time, we condition the agent on the new task language embedding and train on the task reward.

实验结果

研究问题

• RQ1 VLM 生成的奖励能否作为 RL 的有效预训练信号，从而提升下游的样本效率？
• RQ2 语言提示的多样性和语义结构如何影响预训练性能及下游迁移能力？
• RQ3 VLM 奖励与 Plan2Explore 等内在探索目标之间存在何种协同效应？
• RQ4 该预训练方法对提示风格和 VLM 选择的变化有多大的鲁棒性？
• RQ5 LAMP 是否能在未见过的任务上实现泛化而无需零样本迁移？VLM 的质量在性能中起什么作用？

主要发现

• 使用多样化语言提示进行 LAMP 预训练，显著降低了在 RLBench 上游强化学习微调的样本复杂度，实现了更快的收敛速度。
• 提示风格 2（使用语义相似但表达多样的指令表述）在下游微调中表现最佳。
• VLM 奖励与 Plan2Explore 的内在探索奖励相结合，相比单独使用任一方法，能实现更高效的预训练。
• 采用 ZeST 风格 CLIP 奖励的 LAMP 取得了优异性能，结果表明该方法未来可从更强大的 VLM 中获益。
• 该方法对不同提示策略具有鲁棒性，各类风格间性能下降极小，表明其具有广泛的适用性。
• 当与探索目标结合时，LAMP 在使用非动作相关提示的基线方法中表现更优，凸显了奖励质量与覆盖范围的重要性。

Figure 2 : LAMP Method . We use R3M [ 24 ] for our VLM-based rewards. We query the R3M score predictor for pixel and language alignment, which is pretrained on the Ego4D dataset [ 15 ] . The reward model is frozen.