[論文レビュー] Language Reward Modulation for Pretraining Reinforcement Learning

Ademi Adeniji, Amber Xie+4 more|arXiv (Cornell University)|Aug 23, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

LAMPは、強化学習の事前学習中に、言語で条件づけられた多様な探索報酬を生成するために、凍結された視覚言語モデル（VLM）を活用する。VLM報酬とノイズ探索を目的とした内発的報酬を組み合わせることで、一般化可能な言語条件付きポリシーを学習する。この手法は、RLBenchにおける下流のロボット操作タスクで、顕著なサンプル複雑性の低減を示し、ゼロショット転送性能が高く、プロンプトの変化に対して頑健である。

ABSTRACT

Using learned reward functions (LRFs) as a means to solve sparse-reward reinforcement learning (RL) tasks has yielded some steady progress in task-complexity through the years. In this work, we question whether today's LRFs are best-suited as a direct replacement for task rewards. Instead, we propose leveraging the capabilities of LRFs as a pretraining signal for RL. Concretely, we propose $ extbf{LA}$nguage Reward $ extbf{M}$odulated $ extbf{P}$retraining (LAMP) which leverages the zero-shot capabilities of Vision-Language Models (VLMs) as a $ extit{pretraining}$ utility for RL as opposed to a downstream task reward. LAMP uses a frozen, pretrained VLM to scalably generate noisy, albeit shaped exploration rewards by computing the contrastive alignment between a highly diverse collection of language instructions and the image observations of an agent in its pretraining environment. LAMP optimizes these rewards in conjunction with standard novelty-seeking exploration rewards with reinforcement learning to acquire a language-conditioned, pretrained policy. Our VLM pretraining approach, which is a departure from previous attempts to use LRFs, can warmstart sample-efficient learning on robot manipulation tasks in RLBench.

研究の動機と目的

• 複雑な環境における報酬が疎である強化学習の課題に取り組むために、タスク報酬として直接使われるのではなく、学習済み報酬関数を事前学習信号として活用すること。
• 視覚言語モデル（VLM）が、スケーラブルでゼロショットの報酬生成器として機能できるかどうかを検討すること。
• VLMから得られる意味的に構造化された多様な報酬を用いて、事前学習段階で多様で言語条件付きの行動を学習することで、下流のRLファインチューニングにおけるサンプル複雑性を低減すること。
• VLMによって生成される報酬と、Plan2Exploreのような内発的探索目的との相乗効果が、事前学習効率をどのように向上させるかを調査すること。
• さまざまなプロンプト戦略やVLMアーキテクチャに対して、事前学習手法の頑健性と転送可能性を評価すること。

提案手法

• LAMPは、VLMによって生成された言語条件付き報酬と、Plan2Exploreからの内発的ノイズ探索報酬の組み合わせを最適化することでポリシーを事前学習する。
• 凍結された事前学習済みVLMを用いて、画像観測値と多様な言語指示との間でコントラスト的整合性を計算し、形状化された探索報酬を生成する。
• 報酬は、視覚的および言語的デルタ埋め込みのドット積としてパラメータ化される：$ r_i = (F_\phi(s_i) - F_\phi(s_0)) \cdot (L_\alpha(\mathbf{x}) - L_\alpha(\mathbf{x}_0)) $、ここで$ F_\phi $および$ L_\alpha $は凍結されたCLIPエンコーダーである。
• 多タスクで言語条件付きの強化学習目的を用いて、下流タスクでファインチューニング可能な汎用ポリシーを学習する。
• VLMのゼロショット機能を活用し、人為的に設計された報酬関数やドメイン特化のチューニングなしに報酬生成をスケーラブルに拡張する。
• ファインチューニング後のRLBenchタスクで、さまざまなプロンプトスタイルとVLMを比較して性能を評価する。

Figure 1 : LAMP Framework . Given a diverse set of tasks generated by hand or by a LLM, we extract VLM rewards for language-conditioned RL pretraining. At finetuning time, we condition the agent on the new task language embedding and train on the task reward.

実験結果

リサーチクエスチョン

• RQ1 VLMによって生成された報酬は、RLの事前学習信号として有効であり、下流のサンプル効率を向上させることができるか？
• RQ2 プロンプトの多様性と意味的構造が、事前学習性能と下流の転送にどのように影響するか？
• RQ3 VLM報酬とPlan2Exploreの内発的探索目的（例：ノイズ探索）との相乗効果は何か？
• RQ4 プロンプトスタイルの変化やVLMの選択に対する、事前学習手法の頑健性はどの程度か？
• RQ5 LAMPは、ゼロショット転送なしに未観測タスクに一般化可能か？また、VLMの品質が性能に果たす役割は何か？

主な発見

• LAMPが多様な言語プロンプトを用いて事前学習することで、RLBenchにおける下流のRLファインチューニングにおけるサンプル複雑性が顕著に低減され、収束が速くなる。
• プロンプトスタイル2（指示の意味的に類似したが多様な表現）が、下流のファインチューニング性能で最良の結果をもたらした。
• VLM報酬とPlan2Exploreの内発的探索の組み合わせは、単独で使用する場合よりも、より効率的な事前学習を実現した。
• ZeSTスタイルのCLIP報酬を用いたLAMPは高い性能を示し、今後のより能力の高いVLMの恩恵を受ける可能性があることが示唆された。
• さまざまなプロンプト戦略に対しても頑健であり、スタイル間での性能低下が最小限に抑えられており、広範な適用可能性を示している。
• 探索目的と組み合わせた場合、非アクションベースのプロンプトを用いたベースラインを上回る性能を達成しており、報酬の質とカバレッジの重要性が浮き彫りになった。

Figure 2 : LAMP Method . We use R3M [ 24 ] for our VLM-based rewards. We query the R3M score predictor for pixel and language alignment, which is pretrained on the Ego4D dataset [ 15 ] . The reward model is frozen.