[論文レビュー] LIV: Language-Image Representations and Rewards for Robotic Control

Yecheng Jason Ma, William Liang+5 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用数 24

ひとこと要約

LIVは視覚と言語の表現学習とテキスト注釈付き動画からの報酬学習を統合し、ロボット制御のゼロショット、密な報酬を実現し、ドメイン特化データでの微調整を効果的に行える。

ABSTRACT

We present Language-Image Value learning (LIV), a unified objective for vision-language representation and reward learning from action-free videos with text annotations. Exploiting a novel connection between dual reinforcement learning and mutual information contrastive learning, the LIV objective trains a multi-modal representation that implicitly encodes a universal value function for tasks specified as language or image goals. We use LIV to pre-train the first control-centric vision-language representation from large human video datasets such as EpicKitchen. Given only a language or image goal, the pre-trained LIV model can assign dense rewards to each frame in videos of unseen robots or humans attempting that task in unseen environments. Further, when some target domain-specific data is available, the same objective can be used to fine-tune and improve LIV and even other pre-trained representations for robotic control and reward specification in that domain. In our experiments on several simulated and real-world robot environments, LIV models consistently outperform the best prior input state representations for imitation learning, as well as reward specification methods for policy synthesis. Our results validate the advantages of joint vision-language representation and reward learning within the unified, compact LIV framework.

研究の動機と目的

• タスク指定を支援するための視覚観察における言語の基盤付け。
• 言語または画像のゴールへ向けた進捗を捉える、マルチモーダルで制御を意識した表現を学習する。
• 多様なテキスト注釈付き動画での大規模事前学習と、ロボット向けの小規模ドメイン微調整の両方を可能にする。
• 言語条件付き制御のために、表現学習と報酬学習を統合する統一目的を提供する。

提案手法

• VIPを拡張して、画像ゴールのVIPと言語ゴールのVIP（VIP-IとVIP-L）を同時に最適化する多モーダル目的にする。
• 明示的な行動ラベルなしで視覚と言語のゴールを整合させるためのクロスモーダルInfoNCE項を導入する。
• EpicKitchenでLIVを事前学習して、密な報酬付与が可能な視覚-言語バックボーンを得る。
• 事前学習済みLIVをインドメインのロボットデータでファインチューニングして、制御の表現と報酬グラウンディングの両方を向上させる。
• 見たことのないロボット/人間の動画に対するゼロショット密な報酬を実証し、モデルベースの計画に報酬を利用する。
• 現実世界およびシミュレートタスクでの方策学習を改善するために、LIVとともに事前学習済みの視覚-言語モデルを任意にファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 LIVはテキストと画像からマルチモーダルなゴール条件付き報酬を生成できるか？
• RQ2 事前学習済みのLIV表現はロボット制御のための効果的な視覚-言語グラウンディングを提供するか？
• RQ3 LIVを用いて既存の視覚-言語モデルをファインチューニングし、方策学習を改善できるか？
• RQ4 LIV表現はベースラインと比較して模倣学習や報酬ベースの方策合成を改善するか？

主な発見

• LIV埋め込みは、未見のロボット動画のフレームに対して、言語ゴールまたは画像ゴールベースの密な報酬を割り当てることができる（ゼロショット報酬能力）。
• LIV表現は、シミュレーションと実ロボットタスクの両方で、従来の入力-状態ベースラインおよび報酬仕様法を上回る。
• LIVを用いたファインチューニングは、MetaWorld、FrankaKitchen、RealRobot環境の全てで方策の成功率を一貫して向上させる。
• EpicKitchenでのLIV事前学習は、特にグラウンディングが重要な実世界設定で、制御中心の視覚-言語表現を優れて得られる。
• LIVファインチューニングは、CLIPベースのファインチューニングと比較して、より滑らかで時間的一貫性のあるマルチモーダル報酬曲線を生み出す。
• LIV目的はVIPとCLIPの目的を効果的に混合し、広範なハイパーパラメータ調整なしで制御指向の堅牢な表現を提供する。